JP2022049708A - 生成装置、３次元データ送信装置、及び３次元データ再生装置 - Google Patents

Abstract

【課題】画像品位の低下を抑制し、通信量および通信に係る処理を軽減させる。【解決手段】生成装置であって、複数の視点方向に対応する各画像を含む第１種の画像データと、１又は複数の視点方向に対応する各画像を含む第２種の画像データとの参照先を示すメタ情報を生成するメタ情報生成部（１１３）を備え、第２種の画像データは、何れかの視点方向について、解像度が第１種の画像データに含まれる画像よりも高い画像を含む。【選択図】図１

Description

本発明の一態様は、メタ情報を生成する生成装置、３次元データ送信装置、及び３次元データ再生装置に関する。

近年、映像を配信するための様々な技術が開発されている。映像を配信するための技術としては、MPEG（Moving Picture Experts Group）にて現在標準化作業が進められているDASH（Dynamic Adaptive Streaming over HTTP）が挙げられる（非特許文献１）。DASHでは、MPD（Media Presentation Description）データ等のメタデータのフォーマットが規定されている。

ISO/IEC 23009-1 Second edition 2014-05-15

しかしながら、上述のような従来技術においては、３次元データを再生する場合に、再生時の視点方向からでは見えない部分についても不必要に高精細な画像を取得しており、通信量および通信に係る処理が増大するという問題がある。

本発明の一態様は、上記の課題に鑑みてなされたものであり、３次元データ再生時における画像品位の低下を抑制しつつ、通信量および通信に係る処理を軽減させるためのメタ情報を生成する生成装置を実現することを目的とする。

上記の課題を解決するために、本発明の一態様に係る生成装置は、３次元データに関するメタ情報を生成する生成装置であって、前記３次元データを構成する１又は複数の第１種の画像データであって、複数の視点方向に対応する各画像を含む１又は複数の第１種の画像データと、前記３次元データを構成する複数の第２種の画像データであって、１又は複数の視点方向に対応する各画像を含む複数の第２種の画像データとの参照先を示すメタ情報を生成するメタ情報生成部を備えており、前記複数の第２種の画像データは、少なくとも何れかの視点方向について、解像度が前記第１種の画像データに含まれる画像よりも高い画像を含む。

本発明の一態様によれば、３次元データ再生時における画像品位の低下を抑制しつつ、通信量および通信に係る処理を軽減させるためのメタ情報を生成する生成装置を実現できる。

実施形態１に係る３次元データ送信装置の機能ブロック図である。 実施形態１に係る３次元データ再生装置の機能ブロック図である。 ３次元モデルに対する各視点方向を示す図およびＭＰＤの概要を示す図である。 メッシュモデルである３次元モデルを上方向から見た場合における３次元データの概要を示す図である。 デプス画像生成部が生成する画像データであって、各視点方向に対応するデプス画像を含む画像データを示す図である。 ＭＰＤの記述例を示す図である。 実施形態１に係る処理の流れを示すフローチャートである。 ポイントクラウドである３次元モデルを上方向から見た場合における３次元データの概要を示す図である。 ３次元モデルに対する各視点方向を示す図およびＭＰＤの概要を示す図である。 メッシュモデルである３次元モデルを上方向から見た場合における３次元データの概要を示す図である。 デプス画像生成部が生成する画像データであって、各視点方向に対応するデプス画像を含む画像データを示す図である。 ＭＰＤの記述例を示す図である。 実施形態２に係る処理の流れを示すフローチャートである。 ポイントクラウドである３次元モデルを上方向から見た場合における３次元データの概要を示す図である。

以下、本発明の実施形態について、詳細に説明する。ただし、本実施形態に記載されている構成は、特に特定的な記載がない限り、この発明の範囲をそれのみに限定する趣旨ではなく、単なる説明例に過ぎない。

〔実施形態１〕
本発明の第１の実施形態について図１～図７を参照して説明する。本実施形態においては、後述する３次元データ再生装置が、メタ情報の一種であるＭＰＤ（Media Presentation Description）を参照して単一のストリームによって３次元データを示すセグメントデータを取得し、再生する工程の一例について説明する。ここで、３次元データとは、点群やメッシュによって表現される立体的な３次元モデルを示すデータである。また、セグメントデータとは、３次元データを時分割したHTTP伝送の伝送単位（例えば、ISOBMFF（ISO Base Media File Format）をベースにしたデータ）である。

以下、３次元データの参照先を示すメタ情報としてＭＰＤを例に挙げて説明するが、これに限定されず、例えば、ＭＰＤに準ずるＸＭＬ（eXtensible Markup Language）等であってもよい。

本実施形態に係る各装置における主な工程として、以下の（１）～（４）が実行される。
（１）３次元データ送信装置が、取得した３次元モデルを参照して３次元データを示すセグメントデータと、当該セグメントデータの参照先を示すＭＰＤとを生成する。
（２）３次元データ再生装置が、ＭＰＤと３次元データ再生時における視点位置および視点方向とを取得する。なお、本明細書においては、視点位置および視点方向を、単に視点方向と呼称することもある。
（３）３次元データ再生装置が、ＭＰＤを参照して当該視点方向に応じたセグメントデータを単一のストリームによって取得する。
（４）３次元データ再生装置が、当該セグメントデータを参照して３次元データを再生する。

以下、３次元データ再生装置においては、３次元モデルを対象とした映像、即ち動画が再生されるものとして説明するが、これに限定されず単に静止画であってもよい。また、本実施形態において、３次元モデルは、メッシュモデルであるものとして説明する。

〔１．３次元データ送信装置１００の構成〕
図１は、本実施形態に係る３次元データ送信装置１００の機能ブロック図である。図１に示す通り、３次元データ送信装置１００は、制御部１１０、記憶部１２０、及び通信部１３０を備えている。

制御部１１０は、３次元データ送信装置１００全体を統括する制御装置であって、視点受付部１１１、デプス画像生成部１１２、メタ情報生成部１１３、および符号化部１１４としても機能する。

視点受付部１１１は、３次元モデルに対する各視点位置及び視点方向となる仮想視点を取得または設定する。デプス画像生成部１１２は、入力された３次元モデルを対象とするデプス画像を生成する。ここで、デプス画像とは、各画素にデプス値が割り当てられた画像である。また、ここでのデプス値は、視点受付部１１１から入力された視点位置を基準とした値が割り当てられる。

メタ情報生成部１１３は、視点受付部１１１から入力された視点位置と、デプス画像生成部１１２が生成したデプス画像とから、３次元データを示すセグメントデータの参照先を示すＭＰＤを生成する。当該ＭＰＤの詳細については後述する。符号化部１１４は、デプス画像生成部１１２から入力されたデプス画像を符号化する。また、制御部１１０は、通信部１３０による通信処理に関する制御を行う通信制御部としても機能する。

記憶部１２０は、各種データを格納する記憶装置であって、メタ情報記憶部１２１およびセグメントデータ記憶部１２２としても機能する。メタ情報記憶部１２１は、ＭＰＤを示す情報を格納する。また、セグメントデータ記憶部１２２は、セグメントデータを格納する。

通信部１３０は、３次元データ再生装置２００等の外部装置との通信処理を行うインターフェースであって、メタ情報送信部（第１送信部）１３１およびセグメントデータ送信部（第２送信部）１３２としても機能する。メタ情報送信部１３１は、ＭＰＤを示す情報を送信する。また、セグメントデータ送信部１３２は、セグメントデータを送信する。

〔２．３次元データ再生装置２００の構成〕
図２は、本実施形態に係る３次元データ再生装置２００の機能ブロック図である。図２に示す通り、３次元データ再生装置２００は、制御部２１０、通信部２３０、表示部２４０、及びＭＰＤを示す情報等を少なくとも一時的に格納する、図示しない記憶部（メモリ）を備える。

制御部２１０は、３次元データ再生装置２００全体を統括する制御装置であって、視点受付部（第２取得部）２１１、選択部２１２、及び再生部２１３としても機能する。

視点受付部２１１は、３次元データを再生する場合における視点方向を取得する。選択部２１２は、後述するメタ情報取得部２３１が取得したＭＰＤに参照先が記述されたセグメントデータについて、視点受付部２１１が取得した視点方向に対応するセグメントデータを選択する。

再生部２１３は、入力されたセグメントデータを参照して３次元データを再生する部材であって、復号部２１４、３次元モデル生成部２１５および視点画像合成部２１６としても機能する。

復号部２１４は、入力されたセグメントデータを復号する。３次元モデル生成部２１５は、復号されたセグメントデータを参照して３次元モデルを生成する。視点画像合成部２１６は、３次元データを再生する場合における視点位置を参照して当該視点位置から見た３次元モデルを示す画像を合成する。

また、制御部２１０は、通信部２３０による通信処理に関する制御を行う通信制御部、及び表示部２４０による表示処理に関する制御を行う表示制御部としても機能する。

通信部２３０は、３次元データ送信装置１００等の外部装置との通信処理を行うインターフェースであって、メタ情報取得部（第１取得部）２３１およびセグメントデータ取得部（第３取得部）２３２としても機能する。メタ情報取得部２３１は、ＭＰＤを示す情報を取得する。セグメントデータ取得部２３２は、選択部２１２が選択したセグメントデータを取得する。また、表示部２４０は、動画像を表示可能な表示パネルである。

〔３．ＭＰＤについて〕
本実施形態における３次元データの概要、及びメタ情報生成部１１３が生成するＭＰＤの一例について説明する。図３（Ａ）は、３次元空間上における３次元モデルに対する各視点方向を示す図である。また、図３（Ｂ）は、ＭＰＤの概要を示す図である。以下、３次元モデルまたは３次元空間に対する視点方向として、図３（Ａ）のｖ１～ｖ４に示す４つの視点方向を例に挙げて説明するが、当該視点方向の数は、例えば２又は３であってもよいし、５以上であってもよい。

図３（Ｂ）に示すＭＰＤのAdaptationSet（ａ）～（ｅ）は、何れも視点方向ｖ１～ｖ４から見た３次元モデルを示すデプス画像のセグメントデータの参照先を内包している。なお、ＭＰＤは、上位の階層要素から順に、MPD要素、Period要素、AdaptationSet要素、Representation要素、SegmentList要素、及び、SegmentURL要素を含む木構造となっており、後述する図６等においては、一部の要素が省略されている。また、SegmentURL要素が、上述したセグメントデータの参照先に相当する。

図３（Ｂ）において、AdaptationSet（ａ）は、３次元モデル全体を一様な解像度でエンコードしたセグメントデータの参照先を示している。また、AdaptationSet（ｂ）～（ｅ）は、何れかの視点方向について、（ａ）よりも解像度が高く、他の視点方向については（ａ）よりも解像度が低いセグメントデータの参照先を示している。

図４は、メッシュモデルである３次元モデルを上方向から見た場合における３次元データの概要を示す図である。また、図５は、デプス画像生成部１１２が生成する画像データであって、各視点方向に対応するデプス画像を含む画像データを示す図である。また、前記画像データ自体もデプス画像である。ここで、図５（ａ）に示す画像データは、第１種の画像データの一例に相当する。また、図５（ｂ）および図示しない図５（ｃ）～（ｅ）に示す画像データは、第２種の画像データに相当する。

また、図６は、ＭＰＤの記述例を示す図である。ここで、図４～図６における（ａ）～（ｅ）は、図３（Ｂ）におけるAdaptationSet（ａ）～（ｅ）に対応する。また、図４～図６に示す例において、（ａ）は、各視点方向について一様な映像品質であるＸＧＡ画像がパッキングされた第１種の画像データの一例に対応する。また、（ｂ）～（ｅ）は何れかの視点方向についてＸＧＡ画像よりも解像度が高いＦＨＤ画像と、当該視点方向以外の視点方向についてＸＧＡ画像よりも解像度が低いＶＧＡ画像とがパッキングされた第２種の画像データの一例に対応する。

図６に例示するＭＰＤにおいて、AdaptationSet（ａ）は、上述したように各視点方向について映像品質、即ちパッキングされた画像の解像度が一様であり、ViewPointQualityタグが付加されていない。一方で、AdaptationSet（ｂ）～（ｅ）は、各視点方向について映像品質が一様でなく、ViewPointQualityタグが付加されている。また、例えば（ｂ）に含まれるViewPointQualityタグにおいては、quality=”high”の値を有するviewpointが、視点方向ｖ１に対応する。また、例えば、当該viewpointにおける、(x1,y1,z1)は、視点位置を示している。また、(p1,q1,r1)は、当該視点位置からの、３次元モデルに対する視点方向を示している。また、他のAdaptationSetおよびviewpointについても同様に説明される。

また、各AdaptationSetが内包する１又は複数のRepresentationのそれぞれには、互いに異なるビットレートの映像に対応するセグメントデータであって、各解像度の画像が同様にパッキングされた画像データを示すセグメントデータの参照先が含まれている。

ここで、Representationタグに含まれる属性bandwidthは、当該Representationに対応するセグメントデータを受信・再生するために必要なネットワーク帯域を示している。また、同一のAdaptationSetに含まれる各Representationにおいては、対応するセグメントデータのビットレートが高い程、bandwidthの値は大きい値となる。

また、３次元データに関するメタ情報を生成する生成装置は、当該生成装置が、メタ情報を生成するメタ情報生成部１１３を備えるか、メタ情報生成部１１３自体であることによって実現される。即ち、本実施形態に係る、３次元データに関するメタ情報を生成する生成装置は、３次元データを構成する１又は複数の第１種の画像データであって、複数の視点方向に対応する各画像を含む１又は複数の第１種の画像データと、３次元データを構成する複数の第２種の画像データであって、１又は複数の視点方向に対応する各画像を含む複数の第２種の画像データとの参照先を示すメタ情報を生成するメタ情報生成部１１３を備えており、前記複数の第２種の画像データは、少なくとも何れかの視点方向について、解像度が前記第１種の画像データに含まれる画像よりも高い画像を含む構成であってもよい。
上記の構成によれば、３次元データ再生時における画像品位の低下を抑制しつつ、通信量および通信に係る処理を軽減させるためのメタ情報を生成する生成装置を実現できる。

また、メタ情報を生成する生成装置は、図６に例示するように、メタ情報として、各視点方向に対応する各画像の解像度を識別するViewPointQualityタグを含むＭＰＤを生成してもよい。これにより、ViewPointQualityタグによって解像度を識別可能なＭＰＤを生成する生成装置を実現できる。

〔４．３次元データ再生に係る処理の流れ〕
本実施形態に係る３次元データ送信装置１００および３次元データ再生装置２００による３次元データの生成および再生に係る処理の流れについて図７を参照して説明する。図７は、本実施形態に係る処理の流れを示すフローチャートである。

また、以下の各ステップにおいて、ステップＳ１０１～Ｓ１０３は、３次元データ送信装置１００における処理であり、ステップＳ１０４～Ｓ１１４は、３次元データ再生装置２００における処理である。

ステップＳ１０１において、デプス画像生成部１１２は、入力された３次元モデルと、視点受付部１１１から入力された仮想視点と参照して、仮想視点を基準としたデプス画像を生成する。

ステップＳ１０２において、メタ情報生成部１１３は、デプス画像生成部１１２が生成したデプス画像と当該仮想視点とを参照してＭＰＤを生成する。また、制御部１１０は、生成したＭＰＤをメタ情報記憶部１２１に格納する。

ステップＳ１０３において、符号化部１１４は、デプス画像生成部１１２が生成したデプス画像を符号化する。また、制御部１１０は、符号化したデプス画像を、セグメントデータとして、セグメントデータ記憶部１２２に格納する。また、制御部１１０は、生成したＭＰＤが示すセグメントデータの参照先と、セグメントデータ記憶部１２２に格納する格納先とをＵＲＬを介して整合させる。

ステップＳ１０４以降の処理は、３次元データ再生装置２００における処理である。ステップＳ１０４において、メタ情報取得部２３１は、３次元データ送信装置１００からＭＰＤを取得する。

ステップＳ１０５において、選択部２１２は、メタ情報取得部２３１が取得したＭＰＤについて、ViewPointQualityタグが付加されたAdaptationSetを抽出する。また、当該AdaptationSetは、図６の例における（ｂ）～（ｅ）のAdaptationSetに相当する。

ステップＳ１０６において、選択部２１２は、抽出されたAdaptationSetのViewPointQualityタグについて、quality=“high”の値を有するviewpointが示す視線ベクトルと、視点受付部２１１が取得した視点方向が示す視点ベクトルとの差分の最も小さいAdaptationSetを抽出する。

ステップＳ１０７において、選択部２１２は、当該差分が所定の閾値であるＴｈ未満であるか否かを判定する。選択部２１２が、当該差分がＴｈ未満であると判定した場合には、続いてステップＳ１０８の処理が実行され、当該差分がＴＨ以上であると判定した場合には、続いてステップＳ１０９の処理が実行される。

ステップＳ１０８において、選択部２１２は、ステップＳ１０６で抽出したAdaptationSetを、セグメントデータ取得部２３２が取得するセグメントデータの参照元として決定する。また、当該セグメントデータは、第２種の画像データに対応する。

ステップＳ１０９において、選択部２１２は、ViewPointQualityタグが付加されていないAdaptationSetを、セグメントデータ取得部２３２が取得するセグメントデータの参照元として決定する。また、当該セグメントデータは、第１種の画像データに対応する。また、上述したように、当該AdaptationSetは、図６の例における（ａ）のAdaptationSetに相当する。ステップＳ１０６からステップＳ１０９において上述した工程によれば、３次元データ再生装置２００は、視点方向に応じた好適な画像データを取得できる。

ステップＳ１１０において、選択部２１２は、ステップＳ１０８またはステップＳ１０９において決定したAdaptationSetから、３次元データを再生する場合におけるビットレートに対応するRepresentationを選択する。また、選択部２１２は、Representationを選択する場合に、各Representationタグに含まれる属性bandwidthの値を参照して好適なビットレートを選択してもよい。また、セグメントデータ取得部２３２は、当該Representationが示す参照先から、セグメントデータ送信部１３２によって送信されたセグメントデータを取得する。なお、３次元データを再生する場合におけるビットレートは、３次元データ送信装置１００、３次元データ再生装置２００間における回線速度に応じて決定されてもよいし、ユーザが３次元データ再生装置２００を操作することによって指定可能であってもよい。

ステップＳ１１１において、復号部２１４は、セグメントデータ取得部２３２が取得したセグメントデータを復号する。

ステップＳ１１２において、３次元モデル生成部２１５は、復号されたセグメントデータを参照して３次元モデルを生成する。

ステップＳ１１３において、視点画像合成部２１６は、視点受付部２１１から入力された視点位置から見た３次元モデルを示す画像を合成する。

ステップＳ１１４において、再生部２１３は、当該画像を表示部２４０に表示させる。

上述したように、本実施形態に係る３次元データ送信装置１００は、３次元データを送信する３次元データ送信装置１００であって、メタ情報生成装置（メタ情報生成部）１１３と、メタ情報生成装置が生成したメタ情報を外部装置に送信する第１送信部（メタ情報送信部）１３１と、前記外部装置からの要求に応答して、前記第１種の画像データおよび前記第２種の画像データの少なくとも何れかを、前記外部装置に送信する第２送信部（セグメントデータ送信部）１３２と、を備えている構成である。上記の構成によれば、メタ情報、並びに第１種の画像データおよび第２種の画像データの少なくとも何れかを外部装置に送信可能な３次元データ送信装置１００を実現できる。

また、上述したように、本実施形態に係る３次元データ再生装置２００は、３次元データを再生する３次元データ再生装置２００であって、３次元データを構成する１又は複数の第１種の画像データであって、複数の視点方向に対応する各画像を含む１又は複数の第１種の画像データと、３次元データを構成する複数の第２種の画像データであって、１又は複数の視点方向に対応する各画像を含む複数の第２種の画像データとの参照先を示すメタ情報を取得する第１取得部（メタ情報取得部）２３１と、３次元データを再生する場合における、３次元データが示すオブジェクトに対する視点方向を取得する第２取得部（視点受付部）２１１と、当該視点方向に対応する参照先であって、前記メタ情報が示す参照先から、３次元データの再生に要する、前記第１種の画像データおよび前記第２種の画像データの少なくとも何れかを取得する第３取得部（セグメントデータ取得部）２３２と、前記第３取得部が取得した第１種の画像データおよび前記第２種の画像データの少なくとも何れかを参照して、前記３次元データを再生する再生部２１３と、を備えており、前記複数の第２種の画像データは、少なくとも何れかの視点方向について、解像度が前記第１種の画像データに含まれる画像よりも高い画像を含む構成である。上記の構成によれば、上述したメタ情報を参照して画像データを取得し、３次元データを再生可能な３次元データ再生装置２００を実現できる。

〔実施形態１の変形例〕
本変形例においては、３次元モデルがメッシュモデルではなく、ポイントクラウド（点群）である場合について図８を参照して説明する。なお、説明の便宜上、上記実施形態にて説明した事項についての重複する説明を繰り返さない。

図８は、ポイントクラウドである３次元モデルを上方向から見た場合における３次元データの概要を示す図である。また、図８は、実施形態１における図４に対応する。

３次元モデルがポイントクラウドである場合、デプス画像生成部１１２は、各視点方向について、１／２サブサンプルした点群を示すデプス画像、即ち点の数を元の３次元モデルから１／２に間引いたデプス画像を含む第１種の画像データ、及び、所定の視点方向について点の数を元の３次元モデルから間引かずにサンプリングした点群を示すデプス画像と、当該視点方向以外の視点方向について、１／４サブサンプルした点群を示すデプス画像、即ち点の数を元の３次元モデルから１／４に間引いたデプス画像とを含む第２種の画像データを生成する。ここで、第１種の画像データは、図８（ａ）に対応し、第２種の画像データは、図８（ｂ）～（ｅ）に対応する。本変形例の構成においてもメタ情報生成部１１３は、実施形態１と同様のＭＰＤを生成し、以降の処理に使用することができる。

〔実施形態２〕
本発明の第２の実施形態について、図１、２、及び図９～図１３を参照して説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。本実施形態においては、３次元データ再生装置が、ＭＰＤを参照して互いに異なる複数のストリームによって３次元データを示すセグメントデータを取得し、再生する工程の一例について説明する。以下、当該ストリームの数は２つであるものとして説明するが、これに限定されず、３以上のストリームが使用されることによって、本実施形態で説明する処理が実現されてもよい。

本実施形態に係る各装置における主な工程として、以下の（１）～（４）が実行される。
（１）３次元データ送信装置が、取得した３次元モデルを参照して３次元データを示すセグメントデータと、当該セグメントデータの参照先を示すＭＰＤとを生成する。
（２）３次元データ再生装置が、ＭＰＤと３次元データ再生時における視点方向を取得する。
（３）３次元データ再生装置が、ＭＰＤを参照して、３次元モデル全体の概要を示すセグメントデータと当該視点方向に応じたセグメントデータとを２つのストリームによって取得する。
（４）３次元データ再生装置が、各セグメントデータを参照して３次元データを再生する。

〔１．３次元データ送信装置１００の構成〕
本実施形態においても図１に示す３次元データ送信装置１００の構成を用いる。ただし、セグメントデータ送信部１３２は、２つのセグメントデータを２つのストリームによって並行して外部の装置に送信する機能を有する。

〔２．３次元データ再生装置２００の構成〕
本実施形態においても図２に示す３次元データ再生装置２００の構成を用いる。ただし、セグメントデータ取得部２３２は、セグメントデータを２つのストリームによって並行して外部の装置から取得する機能を有する。

〔３．ＭＰＤについて〕
本実施形態における３次元データの概要、及びメタ情報生成部１１３が生成するＭＰＤの一例について説明する。図９（Ａ）は、３次元空間上における３次元モデルに対する各視点方向を示す図である。図９（Ａ）は、図３（Ａ）と同一であり、本実施形態においてもｖ１～ｖ４に示す４つの視点方向を例に挙げて説明する。

図９（Ｂ）は、ＭＰＤの概要を示しており、図３（Ｂ）の構成とは互いに異なる。図９（Ｂ）において、AdaptationSet（ａ）は、図３（Ｂ）の構成と同様に、３次元モデル全体を一様な解像度でエンコードしたセグメントデータを示している。一方で、AdaptationSet（ｂ）～（ｅ）は、何れかの視点方向について（ａ）よりも解像度が高いデプス画像を含む第２種の画像データを示すセグメントデータの参照先を内包しているが、各第２種の画像データは、図１０（ｂ）～（ｅ）および図１１（ｂ）に示すように、他の視点方向についてのデプス画像を含んでいない。

ここで、図１０は、メッシュモデルである３次元モデルを上方向から見た場合における３次元データの概要を示す図である。また、図１１は、デプス画像生成部１１２が生成する画像データであって、各視点方向に対応するデプス画像を含む画像データを示す図である。

また、図１２は、ＭＰＤの記述例を示す図である。ここで、図１０～図１２における（ａ）～（ｅ）は、図９（Ｂ）におけるAdaptationSet（ａ）～（ｅ）に対応する。

また、図１０～図１２に示す例において、（ａ）は、各視点方向について一様な映像品質であるＶＧＡ画像がパッキングされた第１種の画像データの一例に対応する。また、（ｂ）～（ｅ）は何れかの視点方向についてＶＧＡ画像およびＸＧＡ画像よりも解像度が高いＦＨＤ画像を含む第２種の画像データの一例に対応する。

図１２に例示するＭＰＤにおいては。各AdaptationSetがgroupの属性を有し、０または１の値を有している。これは、３次元データ再生装置２００が３次元データを再生する場合に、group=0の値を有するAdaptationSetに由来するセグメントデータと、group=1の値を有するAdaptationSetに由来するセグメントデータとが、少なくとも１つずつ必要なことが規定されていることを示している。

〔４．３次元データ再生に係る処理の流れ〕
本実施形態に係る３次元データ送信装置１００および３次元データ再生装置２００による３次元データの生成および再生に係る処理の流れについて図１３を参照して説明する。図１３は、本実施形態に係る処理の流れを示すフローチャートである。

ステップＳ１０１からステップＳ１０６までは、実施形態１と同様の処理が行われる。ただし、ステップＳ１０２でメタ情報生成部１１３が生成し、処理対象となるＭＰＤは、図１２に例示したＭＰＤである。ステップＳ１０６の処理が実行されたのち、続いてステップＳ２０７の処理が実行される。

ステップＳ２０７において、選択部２１２は、ステップＳ１０４で取得部が取得したＭＰＤについて、group=0の値を有するAdaptationSetから、３次元データを再生する場合におけるビットレートに対応するRepresentationを選択する。ここで、group=0の値を有するAdaptationSetとは、図１２の例における（ａ）のAdaptationSetに相当する。また、選択部２１２は、本ステップＳ２０７および後述するステップＳ２０８においてRepresentationを選択する場合に、各Representationタグに含まれる属性bandwidthの値を参照して好適なビットレートを選択してもよい。また、セグメントデータ取得部２３２は、当該Representationが示す参照先から、セグメントデータ送信部１３２によって送信されたセグメントデータを取得する。また、当該セグメントデータは、第１種の画像データに対応する。

ステップＳ２０８において、選択部２１２は、ステップＳ１０５で選択した、group=1の値を有するAdaptationSetから、３次元データを再生する場合におけるビットレートに対応するRepresentationを選択する。ここで、group=1の値を有するAdaptationSetとは、図１２の例における（ｂ）～（ｅ）のAdaptationSetに相当する。また、セグメントデータ取得部２３２は、当該Representationが示す参照先から、セグメントデータ送信部１３２によって送信されたセグメントデータを取得する。また、当該セグメントデータは、第２種の画像データに対応する。

また、ステップＳ２０７とステップＳ２０８とにおけるセグメントデータ取得部２３２の処理は並行してなされてもよい。即ち、セグメントデータ送信部１３２は、２つのストリームのうち一方のストリームを使用してステップＳ２０７における第１種の画像データに対応するセグメントデータを送信しつつ、もう一方のストリームを使用してステップＳ２０８における第２種の画像データに対応するセグメントデータを送信し、セグメントデータ取得部２３２が各画像データを並行して取得してもよい。

ステップＳ２０７の処理およびステップＳ２０８の処理が実行されたのち、続いてステップＳ１１１の処理が実行される。

ステップＳ１１１からステップＳ１１４においては、実施形態１と同様の処理が実行させる。なお、ステップＳ１１２において、３次元モデル生成部２１５が映像の各フレームに対応する３次元モデルを生成する場合には、第２種の画像データに対応するセグメントデータのみを参照し、第１種の画像データに対応するセグメントデータを参照しない、ということは行われない。

〔実施形態２の変形例１〕
本変形例においては、３次元モデルがメッシュモデルではなく、ポイントクラウド（点群）である場合について図１４を参照して説明する。なお、説明の便宜上、上記実施形態にて説明した事項についての重複する説明を繰り返さない。

図１４は、ポイントクラウドである３次元モデルを上方向から見た場合における３次元データの概要を示す図である。また、図１４は、実施形態２における図１０に対応する。

３次元モデルがポイントクラウドである場合、デプス画像生成部１１２は、各視点方向について、１／４サブサンプルした点群を示すデプス画像、即ち点の数を元の３次元モデルから１／４に間引いたデプス画像を含む第１種の画像データ、及び、所定の視点方向について３／４サブサンプルした点群であって、元の３次元モデルと、第１種の画像データに含まれるデプス画像が示す点群との差分となる点群を示すデプス画像を含む第２種の画像データを生成する。ここで、第１種の画像データは、図１４（ａ）に対応し、第２種の画像データは、図１４（ｂ）～（ｅ）に対応する。

本変形例の構成においてもメタ情報生成部１１３は、実施形態２と同様のＭＰＤを生成し、以降の処理に使用することができる。

〔実施形態２の変形例２〕
実施形態２の第２の変形例について説明する。なお、説明の便宜上、上記実施形態にて説明した事項についての重複する説明を繰り返さない。

ステップＳ２０７およびステップＳ２０８において、セグメントデータ送信部１３２は、単一のストリームにおける複数のレイヤーによって、第１種の画像データに対応するセグメントデータと、第２種の画像データとを、３次元データ再生装置２００に送信する構成でもよい。また、複数のレイヤーとは、例えばベースレイヤーとエンハンスメントレイヤーとの２つのレイヤーであってもよい。

本変形例の構成によれば、セグメントデータ取得部２３２は、単一のストリームによって、第１種の画像データに対応するセグメントデータと第２種の画像データに対応するセグメントデータとを並行して取得できる。なお、本変形例の構成は、実施形態２の変形例１に対しても適用可能である。

〔ソフトウェアによる実現例〕
３次元データ送信装置１００の制御ブロック（特に視点受付部１１１、デプス画像生成部１１２、メタ情報生成部１１３および符号化部１１４）、並びに３次元データ再生装置２００の制御ブロック（特に視点受付部２１１、選択部２１２、再生部２１３）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。

後者の場合、３次元データ送信装置１００および３次元データ再生装置２００は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば少なくとも１つのプロセッサ（制御装置）を備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な少なくとも１つの記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

〔まとめ〕
本発明の態様１に係る生成装置は、３次元データに関するメタ情報を生成する生成装置であって、前記３次元データを構成する１又は複数の第１種の画像データであって、複数の視点方向に対応する各画像を含む１又は複数の第１種の画像データと、前記３次元データを構成する複数の第２種の画像データであって、１又は複数の視点方向に対応する各画像を含む複数の第２種の画像データとの参照先を示すメタ情報を生成するメタ情報生成部（１１３）を備えており、前記複数の第２種の画像データは、少なくとも何れかの視点方向について、解像度が前記第１種の画像データに含まれる画像よりも高い画像を含む構成である。上記の構成によれば、３次元データ再生時における画像品位の低下を抑制しつつ、通信量および通信に係る処理を軽減させるためのメタ情報を生成する生成装置を実現できる。

本発明の態様２に係る生成装置は、上記の態様１において、前記メタ情報生成部は、前記メタ情報として、各視点方向に対応する各画像の解像度を識別するViewPointQualityタグを含むＭＰＤを生成してもよい。上記の構成によれば、ViewPointQualityタグによって解像度を識別可能なＭＰＤを生成する生成装置を実現できる。

本発明の態様３に係る３次元データ送信装置（１００）は、３次元データを送信する３次元データ送信装置であって、上記の態様１又は２における生成装置と、前記メタ情報を外部装置に送信する第１送信部（１３１）と、前記外部装置からの要求に応答して、前記第１種の画像データ、及び前記第２種の画像データの少なくとも何れかを、前記外部装置に送信する第２送信部（１３２）と、を備える構成としてもよい。上記の構成によれば、メタ情報、並びに第１種の画像データおよび第２種の画像データの少なくとも何れかを外部装置に送信可能な３次元データ送信装置を実現できる。

本発明の態様４に係る３次元データ送信装置は、上記の態様３において、前記第２送信部は、前記第１種の画像データと前記第２種の画像データとを、互いに異なる複数のストリームによって送信する構成としてもよい。上記の構成によれば、第１種の画像データと第２種の画像データとを別々のストリームによって送信可能な３次元データ送信装置を実現できる。

本発明の態様５に係る３次元データ送信装置は、上記の態様３において、前記第２送信部は、前記第１種の画像データと前記第２種の画像データとを、単一のストリームにおける複数のレイヤーによって送信する構成としてもよい。上記の構成によれば、第１種の画像データと第２種の画像データとを単一のストリームによって送信可能な３次元データ送信装置を実現できる。

本発明の態様６に係る３次元データ再生装置（２００）は、３次元データを再生する３次元データ再生装置であって、前記３次元データを構成する１又は複数の第１種の画像データであって、複数の視点方向に対応する各画像を含む１又は複数の第１種の画像データと、前記３次元データを構成する複数の第２種の画像データであって、１又は複数の視点方向に対応する各画像を含む複数の第２種の画像データとの参照先を示すメタ情報を取得する第１取得部（２３１）と、前記３次元データを再生する場合における、前記３次元データが示すオブジェクトに対する視点方向を取得する第２取得部（２１１）と、当該視点方向に対応する参照先であって、前記メタ情報が示す参照先から、３次元データの再生に要する、前記第１種の画像データおよび前記第２種の画像データの少なくとも何れかを取得する第３取得部（２３２）と、前記第３取得部が取得した第１種の画像データおよび前記第２種の画像データの少なくとも何れかを参照して、前記３次元データを再生する再生部（２１３）と、を備えており、前記複数の第２種の画像データは、少なくとも何れかの視点方向について、解像度が前記第１種の画像データに含まれる画像よりも高い画像を含む構成である。上記の構成によれば、上述したメタ情報を参照して画像データを取得し、３次元データを再生可能な３次元データ再生装置を実現できる。

本発明の態様７に係る３次元データ再生装置は、上記の態様６において、前記第１取得部は、前記メタ情報として、各視点方向に対応する各画像の解像度を識別するViewPointQualityタグを含むＭＰＤを取得し、前記第３取得部は、前記ViewPointQualityタグを参照して決定されたAdaptationSetが参照先を示す画像データを取得してもよい。上記の構成によれば、ViewPointQualityタグを参照して決定された画像データを取得する３次元データ再生装置を実現できる。

本発明の態様８に係る３次元データ再生装置は、上記の態様６又は７において、前記第３取得部は、前記第２取得部が取得した視点方向が示すベクトルと、前記第２種の画像データに含まれる、解像度が第１種の画像データに含まれる画像よりも高い画像に対応する視点方向が示すベクトルとの差分が閾値未満である場合、少なくとも前記第２種の画像データを取得し、当該閾値以上である場合、前記第２種の画像データを取得せず、前記第１種の画像データを取得する構成としてもよい。上記の構成によれば、視点方向に応じた好適な画像データを取得して３次元データを再生可能な３次元データ再生装置を実現できる。

本発明の態様９に係る３次元データ再生装置は、上記の態様６から８までの何れかにおいて、前記第３取得部は、前記第１種の画像データと前記第２種の画像データとを、互いに異なる複数のストリームによって取得する構成としてもよい。上記の構成によれば、第１種の画像データと第２種の画像データとを別々のストリームによって取得可能な３次元データ再生装置を実現できる。

本発明の態様１０に係る３次元データ再生装置は、上記の態様６から８までの何れかにおいて、前記第３取得部は、前記第１種の画像データと前記第２種の画像データとを、単一のストリームにおける複数のレイヤーによって取得する構成としてもよい。上記の構成によれば、第１種の画像データと第２種の画像データとを単一のストリームによって取得可能な３次元データ再生装置を実現できる。

本発明の各態様に係る生成装置、３次元データ送信装置、および３次元データ再生装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記各装置が備える各部（ソフトウェア要素）として動作させることにより上記各装置をコンピュータにて実現させる上記各装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。

１００ ３次元データ送信装置
１１０、２１０ 制御部
１１１ 視点受付部
１１２ デプス画像生成部
１１３ メタ情報生成部
１１４ 符号化部
１２０ 記憶部
１２１ メタ情報記憶部
１２２ セグメントデータ記憶部
１３０、２３０ 通信部
１３１ メタ情報送信部（第１送信部）
１３２ セグメントデータ送信部（第２送信部）
２００ ３次元データ再生装置
２１１ 視点受付部（第２取得部）
２１２ 選択部
２１３ 再生部
２１４ 復号部
２１５ ３次元モデル生成部
２１６ 視点画像合成部
２３１ メタ情報取得部（第１取得部）
２３２ セグメントデータ取得部（第３取得部）
２４０ 表示部

Claims (10)

1. ３次元データに関するメタ情報を生成する生成装置であって、
   前記３次元データを構成する１又は複数の第１種の画像データであって、複数の視点方向に対応する各画像を含む１又は複数の第１種の画像データと、
   前記３次元データを構成する複数の第２種の画像データであって、１又は複数の視点方向に対応する各画像を含む複数の第２種の画像データと
   の参照先を示すメタ情報を生成するメタ情報生成部を備えており、
   前記複数の第２種の画像データは、少なくとも何れかの視点方向について、解像度が前記第１種の画像データに含まれる画像よりも高い画像を含む
   ことを特徴とする生成装置。
2. 前記メタ情報生成部は、
   前記メタ情報として、各視点方向に対応する各画像の解像度を識別するViewPointQualityタグを含むＭＰＤを生成する
   ことを特徴とする請求項１に記載の生成装置。
3. ３次元データを送信する３次元データ送信装置であって、
   請求項１又は２に記載の生成装置と、
   前記メタ情報を外部装置に送信する第１送信部と、
   前記外部装置からの要求に応答して、前記第１種の画像データおよび前記第２種の画像データの少なくとも何れかを、前記外部装置に送信する第２送信部と、
   を備えることを特徴とする３次元データ送信装置。
4. 前記第２送信部は、前記第１種の画像データと前記第２種の画像データとを、互いに異なる複数のストリームによって送信する
   ことを特徴とする請求項３に記載の３次元データ送信装置。
5. 前記第２送信部は、前記第１種の画像データと前記第２種の画像データとを、単一のストリームにおける複数のレイヤーによって送信する
   ことを特徴とする請求項３に記載の３次元データ送信装置。
6. ３次元データを再生する３次元データ再生装置であって、
   前記３次元データを構成する１又は複数の第１種の画像データであって、複数の視点方向に対応する各画像を含む１又は複数の第１種の画像データと、
   前記３次元データを構成する複数の第２種の画像データであって、１又は複数の視点方向に対応する各画像を含む複数の第２種の画像データと
   の参照先を示すメタ情報を取得する第１取得部と、
   前記３次元データを再生する場合における、前記３次元データが示すオブジェクトに対する視点方向を取得する第２取得部と、
   当該視点方向に対応する参照先であって、前記メタ情報が示す参照先から、３次元データの再生に要する、前記第１種の画像データおよび前記第２種の画像データの少なくとも何れかを取得する第３取得部と、
   前記第３取得部が取得した第１種の画像データおよび前記第２種の画像データの少なくとも何れかを参照して、前記３次元データを再生する再生部と、
   を備えており、
   前記複数の第２種の画像データは、少なくとも何れかの視点方向について、解像度が前記第１種の画像データに含まれる画像よりも高い画像を含む
   ことを特徴とする３次元データ再生装置。
7. 前記第１取得部は、
   前記メタ情報として、各視点方向に対応する各画像の解像度を識別するViewPointQualityタグを含むＭＰＤを取得し、
   前記第３取得部は、
   前記ViewPointQualityタグを参照して決定されたAdaptationSetが参照先を示す画像データを取得する
   ことを特徴とする請求項６に記載の３次元データ再生装置。
8. 前記第３取得部は、
   前記第２取得部が取得した視点方向が示すベクトルと、前記第２種の画像データに含まれる、解像度が第１種の画像データに含まれる画像よりも高い画像に対応する視点方向が示すベクトルとの差分が閾値未満である場合、少なくとも前記第２種の画像データを取得し、当該閾値以上である場合、前記第２種の画像データを取得せず、前記第１種の画像データを取得する
   ことを特徴とする請求項６又は７に記載の３次元データ再生装置。
9. 前記第３取得部は、前記第１種の画像データと前記第２種の画像データとを、互いに異なる複数のストリームによって取得する
   ことを特徴とする請求項６から８までの何れか１項に記載の３次元データ再生装置。
10. 前記第３取得部は、前記第１種の画像データと前記第２種の画像データとを、単一のストリームにおける複数のレイヤーによって取得する
    ことを特徴とする請求項６から８までの何れ１項に記載の３次元データ再生装置。

Images