JP2019139443A - 通信装置、通信方法、及びプログラム - Google Patents

Abstract

【課題】仮想視点映像に関する送信データ量の増大を抑制する。【解決手段】仮想視点映像を送信する通信装置（１０１）であって、映像取得要求を受信する受信手段（３０１，３０２）と、仮想視点映像に対する視点の位置を示す視点位置情報を仮想視点映像の取得要求を行った装置から取得する取得手段（３０１，３０２）と、視点位置情報に対応した仮想視点映像セグメントを仮想視点映像の取得要求を行った装置に送信する送信手段（３０４，３０５，３０７，３０８，３０１）と、を有する。【選択図】図３

Description

本発明は、仮想視点映像に関する。

近年、仮想視点映像や自由視点映像などと呼ばれる映像（以下、仮想視点映像）に関する技術が注目されている。
特許文献１には、ユーザが視点を自由に移動できる映像を生成する符号化装置、及びその再生装置が開示されている。

特開２０１５−１８７７９７号公報

例えば、ユーザ端末において仮想的な視点に応じた仮想視点映像を生成する場合、あらかじめ仮想視点映像の生成に必要なデータ（一例として、オブジェクトの３次元形状モデルやテクスチャデータなど）を保持しておくことが考えられる。しかしながら、このようなデータを事前にサーバから取得しようとすると、サーバからの送信データ量が膨大となってしまう。

本発明は、仮想視点映像に関する送信データ量の増大を抑制することを目的とする。

本発明は、仮想視点映像を送信する通信装置であって、仮想視点映像の取得要求を受信する受信手段と、仮想視点映像に対する視点の位置を示す視点位置情報を、前記取得要求を行った装置から取得する取得手段と、前記視点位置情報に対応した仮想視点映像セグメントを、前記取得要求を行った装置に送信する送信手段と、を有することを特徴とする。

本発明によれば、仮想視点映像に関する送信データ量の増大を抑制できる。

通信システムのシステム構成図である。 送信装置のハードウェア構成例を示すブロック図である。 送信装置の機能構成例を示すブロック図である。 受信装置のハードウェア構成例を示すブロック図である。 受信装置の機能構成例を示すブロック図である。 実施形態１の送信装置の仮想視点映像送信処理のフローチャートである。 受信装置の仮想視点映像取得要求処理のフローチャートである。 受信装置の仮想視点映像セグメント処理のフローチャートである。 ＨＴＴＰ拡張ヘッダを利用した視点位置情報取得の例を示す図である。 三次元空間における視点位置情報の表現例を示す図である。 実施形態２の送信装置の仮想視点映像送信処理のフローチャートである。 取得要求とセグメントとの時間軸における対応関係を示す図である。

以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示等された構成に限定されるものではない。
［実施形態１］
実施形態１では、受信側のユーザが自由に移動させた視点位置に対応して生成された映像を送信可能な通信装置と、その送信された映像を受信して再生可能な通信装置と、を有して構成される通信システムについて説明する。以下の説明では、映像送信側の通信装置を送信装置、受信側の通信装置を受信装置とする。また、ユーザが自由に移動させた視点位置に対応するように生成される映像は仮想視点映像または自由視点映像と呼ばれ、本実施形態では仮想視点映像を用いる。なお、本実施形態ではユーザが仮想視点を自由に移動させることができる例を中心に説明するが、仮想視点の移動に何らかの制約を設けるようにしても良い。

図１は、本実施形態における通信システムの構成の一例を示す図である。
送信装置１０１は、仮想視点映像を生成可能な映像データを保持しており、所定の映像送信サービスを提供するサーバ装置の機能を有しているとする。サーバ装置は、映像を撮影するデジタルカメラ、デジタルビデオカメラ、ネットワークカメラ、プロジェクタ、スマートフォン、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）等を備えていてもよい。

受信装置１０２は、仮想視点映像のクライアント装置として機能する。クライアント装置は、表示機能及び通信機能を備えるデジタルテレビ、タブレット、スマートフォン、ＰＣ、ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）等でもよい。

ネットワーク１０３は、送信装置１０１と受信装置１０２が接続される。ネットワーク１０３は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、公衆移動体通信であるＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）等でもよいし、これらを複数組み合わせたものでもよい。

図２は、送信装置１０１のハードウェア構成の一例を示す図である。
システムバス２００は、送信装置１０１が有する各構成部を相互に接続し、各種データの転送経路となる。システムバス２００にはＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０３、通信Ｉ／Ｆ２０４等が接続されている。

ＣＰＵ２０１は、各構成部を統括的に制御し、送信装置１０１全体を制御する。
ＲＯＭ２０２は、ＣＰＵ２０１で実行される制御プログラム等を格納している。
ＲＡＭ２０３は、ＣＰＵ２０１の主メモリ、ワークエリア等として機能し、プログラムやデータ、受信したパケットデータ等を一時記憶する。

通信Ｉ／Ｆ２０４は、ネットワーク１０３を介して通信パケットの送受信を行うインタフェースである。通信Ｉ／Ｆ２０４としては、例えば無線ＬＡＮインタフェース、有線ＬＡＮインタフェース、または、公衆移動体通信インタフェース等が挙げられるが、これら以外でもよい。

記憶装置２０５は、仮想視点映像を生成可能な映像データや生成された仮想視点映像データ等を記憶する記憶装置であり、例えばＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等のストレージ装置が挙げられる。図２の例では、記憶装置２０５は送信装置１０１の外部に設置されているが、送信装置１０１に内蔵されていてもよい。また記憶装置２０５は、仮想視点映像を生成可能な映像データを撮像するカメラ等の撮像装置の内部記憶装置でもよい。なお、記憶装置２０５に記憶される映像データは、予め生成された蓄積映像データでもよいし、撮像装置からのリアルタイム映像データでもよい。

図３は、送信装置１０１の機能ブロックの一構成例を示す図である。なお、本実施形態において以下に示す各機能ブロックの機能は、ＣＰＵ２０１がＲＯＭ２０２、ＲＡＭ２０３に格納されているソフトウェアプログラムを実行することにより実現されるものとする。但し、各機能ブロックに含まれる一部または全部がハードウェア化されていてもよい。

通信部３０１は、通信Ｉ／Ｆ２０４で送受信する通信パケットのプロトコル処理を行う。通信部３０１は、受信した各種要求パケットについては要求処理部３０２に転送し、記述データ生成部３０３で生成された記述データやセグメント決定部３０８で決定されたセグメントについてはネットワーク１０３へ送出する。本実施形態ではＴＣＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ）／ＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）及びＨＴＴＰ（Ｈｙｐｅｒｔｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）のプロトコルを用いるがこれは一例である。

要求処理部３０２は、通信部３０１が受信した要求パケットを処理する。要求パケットは、例えば、仮想視点映像を取得するための情報が記述された記述データの取得要求パケットや、仮想視点映像セグメントを取得するためのセグメント取得要求パケットが挙げられる。要求処理部３０２は、記述データ取得要求パケットを受信すると、記述データ生成部３０３に対し、記述データの生成と送信を指示する。また、要求処理部３０２は、セグメント取得要求パケットを受信すると、セグメント決定部３０８に対し、取得要求されたセグメントに対応するセグメントの決定と送信を指示する。また、要求処理部３０２は、セグメント取得要求パケット内に後述する視点位置情報が含まれている場合には、視点位置情報解析部３０４に対し、視点位置情報の解析を指示する。なお、本実施形態では、視点位置情報がセグメント取得要求パケットに含まれる形態で説明するが、視点位置情報とセグメント取得要求は複数のパケットに分離されていてもよい。

記述データ生成部３０３は、仮想視点映像を取得するための情報、例えば、ビデオやオーディオの情報（符号化情報、画像サイズ等）、単位時間のセグメント情報やセグメントを取得するためのＵＲＬ等を記述データとして生成する。例えばＭＰＥＧ−ＤＡＳＨでは、ＭＰＤ（Ｍｅｄｉａ Ｐｒｅｓｅｎｔａｔｉｏｎ Ｄｅｓｃｒｉｐｔｉｏｎ）、ＨＬＳでは、Ｐｌａｙｌｉｓｔｓと呼ばれる記述データがこれに相当する。本実施形態では、ＭＰＥＧ−ＤＡＳＨを例に説明するが、これら以外の方法でもよいし、ＨＴＴＰベースでなくてもよい。

視点位置情報解析部３０４は、セグメント取得要求パケット内に含まれる視点位置情報を解析する。視点位置情報としては、例えば、三次元空間における視点位置、視点位置における視線方向、焦点距離等が表現された情報が挙げられる。また、視点位置情報は一つではなく、仮想視点映像セグメントの期間内における開始視点位置と終了視点位置を含んでいてもよい。視点位置情報解析部３０４は、視点位置情報を解析した結果を符号化部３０５に入力し、符号化部３０５に対し、視点位置情報に応じた仮想視点映像の符号化処理を指示する。

符号化部３０５は、入力された視点位置情報に基づく仮想視点映像データを後述する仮想視点映像記憶部３０６から取得し、その取得した仮想視点映像データを二次元映像符号化する。なお、視点位置情報が開始視点位置と終了視点位置等のように複数存在する場合、符号化部３０５は、それらの情報に応じた視点移動に対応した仮想視点映像データを仮想視点映像記憶部３０６から取得して符号化する。これにより、視点移動に応じた仮想視点映像を符号化したデータが得られる。

なお、仮想視点映像に対するユーザの没入感を向上させるために、視点移動は、急激な移動ではなく滑らかに移動するようになされてもよい。例えば、仮想視点映像セグメントのセグメント長が１秒、フレームレートが３０ｆｐｓ（フレーム／秒）、視点移動距離が３０であれば、１フレーム毎に視点が１ずつ移動するようになり、視点移動は滑らかな移動となる。視点移動時間は必ずしもセグメント長である必要はなく、セグメント長よりも短くてもよいし、セグメント長よりも長くして複数セグメントに跨って視点移動がなされるようにしてもよい。また、視点移動速度も一定である必要はなく、視点情報に視点移動加速度等を含めるようにすることで視点移動速度を徐々に速くしたり、徐々に遅くしたりするようにしてもよい。符号化方式は、例えば、Ｈ．２６４やＨ．２６５等が挙げられるが、これらの方式でなくてもよい。符号化部３０５は、符号化時の情報として、符号化方式や画像サイズ、フレームレート等の情報を記述データ生成部３０３に入力する。

仮想視点映像記憶部３０６は、記憶装置２０５内の仮想視点映像データを記憶する。記憶される仮想視点映像データの形式は、三次元空間における視点位置、視点位置における視線方向、焦点距離等に応じて任意の視点からの映像をレンダリングできる形式のデータであればどのような形式でもよい。また、記憶される仮想視点映像データは、複数の撮像装置により撮像された非圧縮映像データでもよい。

セグメント生成部３０７は、符号化部３０５で符号化された仮想視点映像データを、単位時間のセグメントつまり仮想視点映像セグメントとして生成する。セグメント生成部３０７は、仮想映像セグメントを、例えば、Ｆｒａｇｍｅｎｔｅｄ ＭＰ４やＴＳフォーマット等のコンテナファイルとして生成してもよいし、それらの方式以外で生成してもよい。

セグメント決定部３０８は、セグメント生成部３０７で生成されたセグメントから、視点位置情報に応じて送信するセグメントを決定する。なお、符号化部３０５では複数の映像サイズ、映像品質で符号化を行うようにし、セグメント決定部３０８は、ネットワーク１０３の状況や送信装置１０１の状態、受信装置１０２の状態等に基づいて、送信するセグメントを動的に変更してもよい。また、要求処理部３０２が受信装置１０２から視点位置情報を受け取った場合でも、予め要求された視点位置に対応して符号化されている仮想視点映像セグメントが用意できているのであれば、符号化部３０５で符号化する必要はない。この場合、セグメント決定部３０８は、その用意された仮想視点映像セグメントを選択して送信してもよい。

図４は、受信装置１０２のハードウェア構成の一例を示す図である。
システムバス４００には、受信装置１０２が有する各構成部を相互に接続し、各種データの転送経路となる。システムバス４００にはＣＰＵ４０１、ＲＯＭ４０２、ＲＡＭ４０３、通信Ｉ／Ｆ４０４、入力装置４０５、出力装置４０６、記憶装置４０７等が接続されている。

ＣＰＵ４０１は、各構成部を統括的に制御し、受信装置１０２全体を制御する。
ＲＯＭ４０２は、ＣＰＵ４０１で実行される制御プログラム等を格納している。
ＲＡＭ４０３は、ＣＰＵ４０１の主メモリ、ワークエリア等として機能し、プログラムやデータ、受信したパケットデータ等を一時記憶する。
通信Ｉ／Ｆ４０４は、ネットワーク１０３を介して通信パケットの送受信を行うインタフェースである。通信Ｉ／Ｆ４０４は、無線ＬＡＮインタフェース、有線ＬＡＮインタフェース、または、公衆移動体通信インタフェース等が挙げられるが、これら以外でもよい。

入力装置４０５は、ユーザからの入力を受け付ける装置であり、例えば、タッチパネル、キーボード、マウス、ボタン等が挙げられる。
出力装置４０６は、受信装置１０２内で処理した仮想視点映像や情報を出力する装置であり、例えば、ディスプレイ、デジタルテレビ、タッチパネル、プロジェクタ等の表示機能を備えた装置が挙げられる。
記憶装置４０７は、受信した仮想視点映像セグメントのデータや復号化した仮想視点映像データ等を記憶する記憶装置であり、ＨＤＤやＳＳＤ等のストレージ装置が挙げられる。
本実施形態では、入力装置４０５、出力装置４０６、記憶装置４０７を、受信装置１０２の内部に配した例を挙げたが、それらは何れも外部に設置されていてもよい。

図４は、受信装置１０２の機能ブロックの一構成例を示す図である。なお、本実施形態において以下に示す各機能ブロックの機能は、ＣＰＵ４０１がＲＯＭ４０２、ＲＡＭ４０３に格納されているソフトウェアプログラムを実行することにより実現されるものとする。但し、各機能ブロックに含まれる一部または全部がハードウェア化されていてもよい。

通信部５０１は、通信Ｉ／Ｆ４０４で送受信する通信パケットのプロトコル処理を行う。通信部５０１は、送信装置１０１から受信した記述データについては記述データ解析部５０２に転送し、仮想視点映像セグメントについては仮想視点映像記憶部５０４に送って格納させる。また、通信部５０１は、要求生成部５０３から受け取った各種要求パケットについてはネットワーク１０３を介して送信装置１０１に送信する。本実施形態では、送信装置１０１と同様に、ＴＣＰ／ＩＰ及びＨＴＴＰを使用した形態で説明するが、これらのプロトコルでなくてもよい。

記述データ解析部５０２は、送信装置１０１から送信されて通信部５０１で受信した記述データの解析処理を行う。記述データには、前述したように仮想視点映像セグメントを取得するためのＵＲＬやセグメント情報等が記述されている。記述データ解析部５０２は、記述データを解析することによってそれら情報を取り出し、解析結果の情報として要求生成部５０３に送る。また、それらの解析結果の内容は、ユーザが確認できるように出力部５０６に送られて表示等されてもよい。

要求生成部５０３は、送信装置１０１に送信する各種要求パケットの生成を行う。要求生成部５０３は、記述データを取得するための要求パケットや、記述データに記載されている仮想視点映像セグメントを取得するための要求パケットを生成する。また、要求生成部５０３は、入力部５０７から入力される視点位置情報を、仮想視点映像セグメント要求パケット内部に格納する。なお、視点位置情報は、セグメント取得要求パケット内部に格納せず、独立したパケットとして生成してもよいし、記述データ要求パケット内部に格納されてもよい。

仮想視点映像記憶部５０４は、送信装置１０１から送信されて通信部５０１が受信した仮想視点映像セグメントを記憶装置４０７内に記憶する。なお、仮想視点映像セグメントは、復号化部５０５で復号化してから記憶するようにしてもよい。

復号化部５０５は、送信装置１０１から送信されて受信された仮想視点映像セグメントを復号化する。復号化方式は、送信装置１０１の符号化部３０５において仮想視点映像を符号化した際の符号化方式に対応した復号化方式となされる。

出力部５０６は、復号化部５０５で復号化された仮想視点映像や記述データ解析部５０２で解析されたセグメント情報等を、出力装置４０６に出力して表示等する。
入力部５０７は、入力装置４０５を介してユーザから入力される視点位置情報を処理し、前述した要求生成部５０３に出力する。また、入力部５０７は、ユーザから入力された情報を、出力部５０６を介して出力装置４０６に出力してもよい。

図６は、送信装置１０１における仮想視点映像送信の処理の流れを示すフローチャートである。
この図６のフローチャートの処理は、送信装置１０１のＣＰＵ２０１が、ＲＯＭ２０２に記憶された仮想視点映像送信プログラムを読み出して、それを実行することで実現される。なお、以下の説明では、図７のフローチャートの各ステップＳ６０１〜ステップＳ６１１をＳ６０１〜Ｓ６１１と略記する。本実施形態に係るプログラムは、ＲＯＭ２０２に予め用意されていてもよく、また着脱可能な半導体メモリ等から読み出されたり、インターネット等のネットワークからダウンロードされたりしてもよい。これらのことは後述する他のフローチャートにおいても同様とする。
以下、図６のフローチャートに示した処理の流れを、図３に示した送信装置１０１の機能ブロックを参照しながら説明する。

Ｓ６０１において、要求処理部３０２は、通信部３０１により受信された要求パケットがセグメント取得要求のパケットかどうかを判定する。そして、要求処理部３０２は、セグメント取得要求であると判定した場合にはＳ６０５に移行し、一方、セグメント取得要求でないと判定した場合にはＳ６０２に移行する。

Ｓ６０２に移行すると、要求処理部３０２は、要求パケットが記述データ取得要求のパケットかどうかを判定する。そして、要求処理部３０２は、記述データ取得要求でないと判定した場合にはＳ６０１に戻る。一方、要求処理部３０２において記述データ取得要求であると判定された場合、送信装置１０１の処理は、記述データ生成部３０３にて行われるＳ６０３に移行する。

Ｓ６０３に移行すると、記述データ生成部３０３は、前述した記述データを生成する。Ｓ６０３の後、送信装置１０１の処理は、通信部３０１によるＳ６０４に移行する。
Ｓ６０４に移行すると、通信部３０１は、記述データ生成部３０３が生成した記述データを、記述データ取得要求パケットを送信してきた受信装置１０２に対して送信する。Ｓ６０４の後、送信装置１０１の処理は要求処理部３０２にて行われる後述するＳ６１１に移行する。

またＳ６０５に移行した場合、要求処理部３０２は、セグメント取得要求パケット内に視点位置情報が含まれているかどうかを判定する。そして要求処理部３０２において視点位置情報が含まれていると判定された場合、送信装置１０１の処理は視点位置情報解析部３０４にて行われるＳ６０７に移行する。一方、要求処理部３０２において視点位置情報が含まれていないと判定された場合、送信装置１０１の処理は符号化部３０５にて行われるＳ６０６に移行する。

Ｓ６０６に移行すると、符号化部３０５は、現在の視点位置、すなわち受信装置１０２に対して直近で送信した仮想視点映像セグメントの最後の視点位置に応じて二次元映像符号化処理を行う。なお、視点位置に変化がない場合には、予め二次元映像符号化処理をしておいてもよい。このＳ６０６の後、送信装置１０１の処理はセグメント生成部３０７にて行われる後述するＳ６０９に移行する。

Ｓ６０７に移行した場合、視点位置情報解析部３０４は、セグメント取得要求パケット内に含まれていた視点位置情報の解析処理を行う。Ｓ６０７の後、送信装置１０１の処理は符号化部３０５にて行われるＳ６０８に移行する。
Ｓ６０８に移行すると、符号化部３０５は、視点位置情報解析部３０４にて解析された視点位置情報に応じた仮想視点映像の二次元映像符号化処理を行う。Ｓ６０８の後、送信装置１０１の処理はセグメント生成部３０７にて行われるＳ６０９に移行する。

Ｓ６０９に移行すると、セグメント生成部３０７は、仮想視点映像セグメントの生成処理を行う。
次に、Ｓ６１０において、通信部３０１は、セグメント生成部３０７が生成した仮想視点映像セグメントを、セグメント取得要求パケットを送信してきた受信装置１０２へ送信する。Ｓ６１０の後、送信装置１０１の処理はＳ６１１に移行する。

Ｓ６１１に移行すると、要求処理部３０２は、仮想視点映像送信のサービスを終了するかどうかを判定する。そして、要求処理部３０２は、仮想視点映像送信サービスを終了すると判定した場合には、図６のフローチャートの処理を終了し、一方、仮想視点映像送信サービスを継続すると判定した場合にはＳ６０１に戻る。

図７は、受信装置１０２における仮想視点映像取得要求の処理の流れを示すフローチャートである。
この図７のフローチャートの処理は、受信装置１０２のＣＰＵ４０１が、ＲＯＭ４０２に記憶された仮想視点映像取得要求プログラムを読み出して、それを実行することで実現される。なお、仮想視点映像取得要求プログラムは仮想視点映像送信プログラムに含まれていてもよいし、仮想視点映像送信プログラムとは独立したプログラムであってもよい。
以下、図７のフローチャートに示した処理の流れを、図５に示した受信装置１０２の機能ブロックを参照しながら説明する。

Ｓ７０１において、要求生成部５０３は、所定の映像送信サービスを提供している送信装置１０１に対する記述データ取得要求のパケットを生成する。Ｓ７０１の後、受信装置１０２の処理は通信部５０１によるＳ７０２に移行する。
Ｓ７０２に移行すると、通信部５０１は、要求生成部５０３が生成した記述データ取得要求のパケットを、所定の映像送信サービスを提供している送信装置１０１に宛てて送信する。

次のＳ７０３において、通信部５０１は、Ｓ７０２で送信した記述データ取得要求パケットに対する応答としての記述データパケットの受信待ち状態となる。そして、通信部５０１において記述データのパケットを受信した場合、受信装置１０２の処理は記述データ解析部５０２にて行われるＳ７０４に移行する。
Ｓ７０４に移行すると、記述データ解析部５０２は、通信部５０１にて受信された記述データについて前述した解析処理を行う。Ｓ７０４の後、受信装置１０２の処理は、要求生成部５０３にて行われるＳ７０５に移行する。

Ｓ７０５に移行すると、要求生成部５０３は、視点位置の変更が有るかどうかを判定する。具体的には、要求生成部５０３は、入力装置４０５を介してユーザから、現在の視点位置とは別の視点位置への指示等がなされたことで視点位置の変更が有るかどうかを判定する。そして、要求生成部５０３は、視点位置の変更が有ると判定した場合にはＳ７０６に移行し、一方、視点位置の変更がないと判定した場合にはＳ７０７に移行する。
Ｓ７０６に移行すると、要求生成部５０３は、変更された視点位置に対応した視点位置情報を生成した後、Ｓ７０７に移行する。

Ｓ７０７に移行すると、要求生成部５０３は、仮想視点映像セグメントのセグメント取得要求パケットを生成する。そして、要求生成部５０３は、その生成した視点位置情報をセグメント取得要求パケット内に格納する。なお、Ｓ７０５において視点位置に変更がないと判定してＳ７０７に移行した場合、要求生成部５０３は、変更のない視点位置に対応した仮想視点映像セグメントのセグメント取得要求パケットを生成する。変更のない視点位置に対応した仮想視点映像セグメントのセグメント取得要求パケットには、視点位置情報を格納しなくてもよいし、当該変更のない視点位置に対応した視点位置情報を格納してもよい。Ｓ７０７の後、受信装置１０２の処理は、通信部５０１によるＳ７０８に移行する。

Ｓ７０８に移行すると、通信部５０１は、要求生成部５０３にて生成されたセグメント取得要求パケットを、前述の送信装置１０１に宛てて送信する。Ｓ７０８の後、要求生成部５０３は、図７のフローチャートの処理を終了する。

図８は、受信装置１０２における仮想視点映像セグメントの受信及び再生処理の流れを示すフローチャートである。
この図８のフローチャートの処理は、受信装置１０２のＣＰＵ４０１が、ＲＯＭ４０２に記憶された仮想視点映像セグメント再生プログラムを読み出して、それを実行することで実現される。なお、仮想視点映像セグメント再生プログラムは、仮想視点映像送信プログラムや仮想視点映像取得要求プログラムに含まれていてもよいし、それらとは独立したプログラムであってもよい。本実施形態において、受信装置１０２では、図７のフローチャートの終了後、図８のフローチャートの処理が実行されるとする。

Ｓ８０１において、通信部５０１は、先に送信したセグメント取得要求パケットに対する応答としての仮想視点映像セグメントの受信待ち状態となっている。そして、Ｓ８０１において通信部５０１が仮想視点映像セグメントを受信した場合、受信装置１０２の処理は仮想視点映像記憶部５０４にて行われるＳ８０２に移行する。
Ｓ８０２に移行すると、仮想視点映像記憶部５０４は、通信部５０１により受信された仮想視点映像セグメントを記憶装置４０７に記憶する。

次にＳ８０３において、仮想視点映像記憶部５０４は、仮想視点映像セグメントの再生可否を判定する。例えば、仮想視点映像記憶部５０４は、受信された仮想視点映像セグメントが、最初に受信された仮想視点映像セグメントである場合には、当該受信された仮想視点映像セグメントの全てのデータが記憶装置４０７に記憶された時に、再生可と判定する。また、仮想視点映像記憶部５０４は、受信された仮想視点映像セグメントが二番目以降のセグメントの場合、当該セグメントの全データが記憶装置４０７に記憶され、且つ直前の仮想視点映像セグメントの再生が既に完了している場合に再生可と判定する。再生可否の判定は、他の判定方法でもよい。そして、仮想視点映像記憶部５０４において再生可と判定された場合、受信装置１０２の処理は復号化部５０５により行われるＳ８０４に移行する。

Ｓ８０４に移行すると、復号化部５０５は、Ｓ８０３で記憶装置４０７に記憶された仮想視点映像セグメントのデータを読み出し、その仮想視点映像セグメントの復号化処理を行う。なお、Ｓ８０４の復号化処理は、Ｓ８０２の処理よりも前に行われていてもよく、この場合、予め復号化した仮想視点映像セグメントは記憶装置４０７に記憶しておくようにする。Ｓ８０４の後、受信装置１０２の処理は出力部５０６によるＳ８０５に移行する。

Ｓ８０５に移行すると、出力部５０６は、復号化部５０５により復号化された仮想視点映像セグメントを、出力装置４０６に対して出力する。これにより、出力装置４０６に仮想視点映像が表示されることになる。なお、Ｓ８０４の処理がＳ８０２の処理以前に行われていて、予め復号化した仮想視点映像セグメントが記憶装置４０７に記憶されている場合、Ｓ８０５では、当該記憶装置４０７から読み出した仮想視点映像セグメントが出力装置４０６に出力される。

図９は、本実施形態の通信システムにおいて、ＨＴＴＰ拡張ヘッダを利用した視点位置情報の送信と取得の一例を説明する図である。
本実施形態では、前述したように、受信装置１０２から仮想視点映像セグメントを取得するための記述データの取得要求が送信装置１０１に送信され、その応答として、送信装置１０１から記述データが受信装置１０２へ送信される例を挙げている。なおこれは一例であり、記述データは送信装置１０１とは別の送信サーバ等に用意されていてもよく、受信装置１０２から送信サーバに対して記述データ取得要求が送られ、その応答として送信サーバから受信装置１０２に対して記述データが送信されてもよい。

本実施形態において、記述データ９０１は、ストリーミング方式として例えばＭＰＥＧ−ＤＡＳＨを想定したデータとなされているが、それ以外の方式によるデータであってもよい。ＭＰＥＧ−ＤＡＳＨでは、ＭＰＤと呼ばれるｘｍｌ形式の記述データが用いられる。記述データ内部にはデータや情報の区分に従って入れ子状となるように記述がなされ、動画や音声のセグメント情報はＳｅｇｍｅｎｔタグ内に記述される。

図９において、ＵＲＬ９０２は、Ｓｅｇｍｅｎｔタグ内に記述される仮想視点映像セグメントを取得するためのアクセスＵＲＬである。受信装置１０２は、記述データ９０１を取得すると、その記述内容を基に、取得したい仮想視点映像セグメントを選択（特定）し、その選択したセグメントに対応したアクセスＵＲＬ９０２を用いて、仮想視点映像セグメント取得要求９０３を生成する。

そして、仮想視点映像セグメント取得要求９０３のパケットは、受信装置１０２から送信装置１０１に送信される。図９に示した仮想視点映像セグメント取得要求９０３内の記述は一例である。ＭＰＥＧ−ＤＡＳＨやＨＬＳ等のＨＴＴＰベースのストリーミング方式の場合、セグメントの取得要求は、ＨＴＴＰのＧＥＴリクエストメッセージにより実現される。ＨＴＴＰのＧＥＴリクエストメッセージの詳細についての説明は省略する。

本実施形態において、仮想視点映像セグメント取得要求９０３には、視点位置情報９０４が含まれる。図９に示した視点位置情報９０４内の記述は一例である。本実施形態の場合、視点位置情報９０４は、ＨＴＴＰの拡張ヘッダフィールドを用いて記載した例を挙げているが、ボディ内に格納されてもよいし、ＵＲＬの末尾に記載されてもよい。また、視点位置情報９０４は、ＨＴＴＰのＧＥＴリクエストメッセージに含めなくてもよい。また本実施形態において、視点位置情報９０４には、開始視点位置と終了視点位置の情報が含まれる。

視点位置情報の表現方法の一例について図１０（ａ）と図１０（ｂ）を用いて説明する。
図１０（ａ）は、三次元空間における視点の位置を示す図である。
図１０（ａ）において、視点位置１００１は、三次元空間におけるｘ座標軸１００２とｙ座標軸１００３とｚ座標軸１００４とにより表される。これら各座標軸による視点位置の表現例としては、座標軸毎に移動可能な範囲を予め定義しておき、例えば座標値０から当該移動可能な範囲までの座標の数値で表現する方法が挙げられる。この例では、三次元空間における座標値によって視点位置を表現する例を挙げたが、視点位置は、相対座標、例えば最大移動可能範囲を１とした場合の割合により表されてもよいし、現在視点位置からの移動距離により表されてもよい。

図１０（ｂ）は、視点位置１００１からの視線方向を示す図である。
図１０（ｂ）の場合、視点位置１００１は、視線方向の向きを示すｙａｗ軸１００５と、視線方向の傾斜を示すｐｉｔｃｈ軸１００６と、視線方向の回転を示すｒｏｌｌ軸１００７とにより表される。図１０（ｂ）の例の場合、これら三軸のパラメータを変更することで視線方向を自由に変更することができる。視線方向の表現例としては、軸毎に移動可能な角度範囲を予め定義しておき、軸からの角度が、例えば０度から３６０度、例えば−１８０度から１８０度等のように表現する方法が挙げられる。この例では、各軸に対する角度によって視線方向を表現する例を示したが、視線方向は、角度の相対値でもよいし、現在の視線方向からの角度の差分値等でもよい。また、視点位置１００１は、焦点位置までの距離１００８の値ｄｅｐｔｈで表されてもよい。距離１００８の値ｄｅｐｔｈの単位も絶対値でも相対値でもよい。これら視点位置、視線方向、焦点位置等のパラメータは、必ずしも全てが含まれていなくてもよいし、一つのパラメータのみや、二つ以上のパラメータが組み合わされてもよい。

また本実施形態の場合、前述した図９の視点位置情報９０４は、仮想視点映像セグメントの期間内における開始視点位置と終了視点位置と、それら各視点位置における視線方向と、各視点位置における焦点位置とを、全て含む形態で視点位置情報を表現している。図９の例では、拡張ヘッダフィールドにおいて、開始視点位置をＸ−ＳｔａｒｔＳｉｇｈｔＬｏｃａｔｉｏｎ、開始視線方向をＸ−ＳｔａｒｔＳｉｇｈｔＤｉｒｅｃｔｉｏｎ、焦点位置をＸ−ＳｔａｒｔＳｉｇｈｔＤｅｐｔｈとして定義している。また、終了視点位置をＸ−ＥｎｄＳｉｇｈｔＬｏｃａｔｉｏｎ、終了視線方向をＸ−ＥｎｄＳｉｇｈｔＤｉｒｅｃｔｉｏｎ、終了視点焦点位置をＸ−ＥｎｄＳｉｇｈｔＤｅｐｔｈとして定義している。

したがって、本実施形態の場合、仮想視点映像セグメント取得要求９０３を受信した送信装置１０１は、前述した視点位置情報９０４に対応した仮想視点映像の符号化、セグメント生成を行い、その仮想視点映像セグメントを受信装置１０２に送信する。

前述したように、本実施形態の送信装置１０１は、受信装置１０２から仮想視点映像取得要求と共に視点位置情報を受け取り、その受け取った視点位置情報に基づき二次元映像として符号化した仮想視点映像セグメントを送信する。このため、本実施形態の場合、仮想視点映像を送信する際に、様々な視点位置からの二次元映像を復元可能となる仮想視点映像全体を送信する必要がないため送信データ量の増大を抑制することができる。また、本実施形態の場合、受信装置側は、複数の視点位置からの二次元映像として仮想視点映像を復元する機能及び処理能力を有する必要がない。すなわち本実施形態においては、送信データ量の増大を抑制しつつ、受信装置側に複数の視点位置からの二次元映像として仮想視点映像を復元するための機能及び処理能力を持たせることなく、ユーザが自由に視点を変更できる仮想視点映像送信が可能となる。

［実施形態２］
前述した実施形態１の場合、送信装置１０１は、受信装置１０２から視点位置情報を含む仮想視点映像セグメント取得要求を受信すると、その視点位置に対応した仮想視点映像セグメントを送信する例を挙げている。したがって、受信装置１０２において視点位置が変更された場合つまり視点移動がなされた場合、受信装置１０２は、当該視点移動に応じた仮想視点映像を取得できる。ただし、例えば送信装置１０１側で視点移動を反映したセグメントの符号化の処理時間が長くかかってしまった場合、仮想視点映像セグメント送信に遅延が生じて、受信装置１０２での仮想視点映像の再生処理が停止してしまう虞がある。

そこで、実施形態２では、視点位置情報が含まれた仮想視点映像セグメント取得要求に対応する仮想視点映像セグメントの次のセグメントから視点移動を行うように符号化を行うことで、受信装置１０２における仮想視点映像の再生停止を防止する例を説明する。
すなわち実施形態２の場合、送信装置１０１において仮想視点映像セグメント取得要求に対応したセグメントの次に送信するセグメントを予め生成しておくことで、視点移動が要求される場合でも仮想視点映像セグメントの送信遅延を防止する。なお、実施形態２におけるハードウェア構成や機能構成については前述した実施形態１と概ね同様であるためそれらの図示と説明は省略する。

図１１は、実施形態２の送信装置１０１における仮想視点映像セグメント送信の処理の流れを示すフローチャートである。
以下、図１１のフローチャートに示した処理の流れを、図３に示した送信装置１０１の機能ブロックを参照しながら説明する。

Ｓ１１０１において、要求処理部３０２は、受信した要求パケットがセグメント取得要求のパケットかどうかを判定する。そして、セグメント取得要求パケットであると判定した場合、送信装置１０１の処理はＳ１１０５に移行し、セグメント取得要求パケットでないと判定した場合にはＳ１１０２に移行する。Ｓ１１０２からＳ１１０４の処理は、図６のＳ６０２からＳ６０４の処理と同様であるためその説明は省略する。Ｓ１１０４の後、送信装置１０１の処理はＳ１１１１に移行する。

Ｓ１１０５に移行すると、後述のＳ１１０６〜Ｓ１１１０の処理で予め作成されていて未送信の仮想視点映像セグメントが有り、後述のＳ１１１１で映像送信継続と判定されている場合、通信部３０１は、その仮想視点映像セグメントを受信装置１０２に送信する。Ｓ１１０５の後、送信装置１０１の処理は要求処理部３０２にて行われるＳ１１０６に移行する。

Ｓ１１０６に移行すると、要求処理部３０２は、Ｓ１１０１で判定されたセグメント取得要求パケット内に視点位置情報が含まれているかどうかを判定する。そして、要求処理部３０２において視点位置情報が含まれていると判定した場合、送信装置１０１の処理は視点位置情報解析部３０４にて行われるＳ１１０８に移行する。一方、要求処理部３０２において視点位置情報が含まれていないと判定された場合、送信装置１０１の処理は符号化部３０５にて行われるＳ１１０７に移行する。

Ｓ１１０７に移行すると、符号化部３０５は、現在の視点位置、すなわち受信装置１０２に対して直近で送信した仮想視点映像セグメントの最後の視点位置に応じた仮想視点映像の二次元映像符号化処理を行う。Ｓ１１０７においても前述した図６のＳ６０６同様に、視点位置に変化がない場合には、予め二次元映像符号化処理をしておいてもよい。このＳ１１０７の後、送信装置１０１の処理はセグメント生成部３０７にて行われるＳ１１１０に移行する。

Ｓ１１０８に移行した場合、視点位置情報解析部３０４は、Ｓ１１０１で受信された視点位置情報の解析処理を行う。ここで、実施形態２の場合、視点位置情報解析部３０４は、解析した視点位置情報を基に、次に送信される予定の仮想視点映像の視点位置を算出する解析を行う。例えば視点位置情報解析部３０４は、受信した仮想視点映像セグメント取得要求の視点位置情報、又は最後に送信した仮想視点映像セグメントの終了視点位置の少なくとも一方から次の送信予定の仮想視点映像セグメントの開始視点位置と終了視点位置を算出する。そしてＳ１１０８の後、送信装置１０１の処理は符号化部３０５にて行われるＳ１１０９に移行する。

Ｓ１１０９に移行すると、符号化部３０５は、視点位置情報解析部３０４により解析された視点位置に基づく仮想視点映像の二次元映像符号化処理を行う。実施形態２の場合、Ｓ１１０９において、符号化部３０５では、視点位置情報解析部３０４にて解析された視点移動に応じた次の視点位置の仮想視点映像、つまり次に送信される予定の仮想視点映像の二次元映像符号化処理が行われる。Ｓ１１０９の後、送信装置１０１の処理はＳ１１１０に移行する。

Ｓ１１１０に移行すると、セグメント生成部３０７は、Ｓ１１０７またはＳ１１０９において符号化部３０５で符号化された仮想視点映像を基に、仮想視点映像セグメントの生成処理を行う。すなわち本実施形態において、Ｓ１１０９で次に送信する予定の仮想視点映像の二次元映像符号化処理が行われた場合、セグメント生成部３０７では、次に送信する予定の仮想視点映像セグメントの生成処理が行われることになる。その後、送信装置１０１の処理はＳ１１１１に移行する。Ｓ１１１１の処理は、図６のＳ６１１の処理と同様であるためその説明は省略する。そして、Ｓ１１１１の後、送信装置１０１の処理は、Ｓ１１０１に戻る。

なお前述の例では、受信した視点位置情報の次の視点位置に応じた仮想視点映像セグメントを生成したが、受信した視点位置情報の次の視点位置、更にその次の視点位置のように、複数の視点位置に対応した複数の仮想視点映像セグメントを予め生成してもよい。

図１２は、仮想視点映像セグメント取得要求と、視点移動により変化する視点位置１２０２と、その視点移動を反映した仮想視点映像セグメントとについて、時間軸１２０１における対応関係を示した図である。
図１２において、図中のＳｅｇ（ｘ）（図１２の例ではｘ＝１，２，３，４）は、仮想視点映像セグメントを表している。また、セグメント取得要求１２０３の矢印は仮想視点映像セグメントＳｅｇ（２）の取得要求がなされたタイミングを、セグメント取得要求１２０４の矢印は仮想視点映像セグメントＳｅｇ（３）の取得要求がなされたタイミングを示している。

図１２の例において、仮想視点映像セグメントＳｅｇ（２）のセグメント取得要求１２０３には視点位置情報が含まれており、その視点位置情報の開始視点位置１２０５は図中の位置ｓ、終了視点位置１２０６は図中の位置ｅであるとする。すなわち、図１２の例の場合、視点位置は、開始視点位置１２０５（位置ｓ）から終了視点位置１２０６（位置ｅ）まで移動する。なお、図１２の場合、視点移動が等速度になっていて徐々に視点が移動するような視点移動の仮想視点映像の例を挙げている。

実施形態２の場合、仮想視点映像セグメントＳｅｇ（２）のセグメント取得要求１２０３に含まれる視点位置情報は、次の仮想視点映像セグメントＳｅｇ（３）に反映される。すなわち、仮想視点映像セグメントＳｅｇ（２）の送信後の時間ｔ１から時間ｔ２の間に、開始視点位置１２０５（位置ｓ）から終了視点位置１２０６（位置ｅ）まの視点移動に対応した仮想視点映像セグメントＳｅｇ（３）を生成する符号化処理が行われる。

なお、図１２の例では、仮想視点映像セグメントＳｅｇ（３）の期間内に、視点位置が等速度で移動する例を挙げたが、視点移動の時間はゼロ時間であってもよい。例えば、視点移動の距離が大きいような場合には、視点位置を等速度で移動させずに、切り替えるようにしてもよい。視点位置の切り替えがなされる場合、仮想視点映像の切り替えは次のセグメント取得要求の仮想視点映像セグメントからとする。このように切り替えられる場合にも、符号化は予め行っておいてもよい。

また例えば受信装置１０２側において、仮想視点映像セグメントの再生途中で視点位置が変更された場合、その視点位置情報を送信装置１０１側に送信するようにしてもよい。この場合、送信装置１０１では、最後に送信した仮想視点映像セグメントから、変更後の視点位置に対応した仮想視点映像セグメントを送信する。また、このように再生途中で視点の変更が行われた場合、視点変更後の仮想視点映像セグメントは、予め定義されている期間の通常のセグメントよりも短い時間のセグメントとして符号化し、視点切り替えに伴う時間遅延を削減してもよい。

以上説明したように、実施形態２において、送信装置１０１は、セグメント取得要求に含まれる視点位置情報に基づく視点移動を、そのセグメント取得要求に対応した仮想視点映像セグメントの次のセグメントで反映させるようにする。これにより、本実施形態によれば、例えば送信装置１０１側でセグメントの符号化の処理時間が長くかかったとしても、受信装置１０２において仮想視点映像の再生処理が停止してしまうリスクを低減することが可能となる。

［その他の実施形態］
前述の実施形態では視点位置情報を送信装置１０１に送る例を挙げたが、視点位置情報には、受信装置１０２のユーザ等が所望する順番で複数の視点位置が順次切り替わるような仮想視点映像を生成するためのシナリオ情報が含まれてもよい。また、視点位置情報に加えてオブジェクト等の関心領域（ＲＯＩ）を示す情報をも送信装置１０１に送り、送信装置１０１側において、その関心領域を示す情報に基づく仮想視点映像セグメントを生成して送信するようにしてもよい。例えば関心領域のオブジェクトとして顔のオブジェクトを用いた場合、例えば顔のオブジェクトを認識して顔が常に正面に映るような視点移動の仮想視点映像セグメントを送信してもよい。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１０１：送信装置、１０２：受信装置、１０３：ネットワーク、３０１：送信装置の通信部、３０２：要求処理部、３０３：記述データ生成部、３０４：視点位置情報解析部、３０５：符号化部、３０６：仮想視点映像記憶部、３０７：セグメント生成部：３０８：セグメント決定部、５０１：受信装置の通信部、５０２：記述データ解析部、５０３：要求生成部、５０４：仮想視点映像記憶部、５０５：符号化部

Claims (23)

1. 仮想視点映像を送信する通信装置であって、
   仮想視点映像の取得要求を受信する受信手段と、
   仮想視点映像に対する視点の位置を示す視点位置情報を、前記取得要求を行った装置から取得する取得手段と、
   前記視点位置情報に対応した仮想視点映像セグメントを、前記取得要求を行った装置に送信する送信手段と、
   を有することを特徴とする通信装置。
2. 仮想視点映像を取得するための情報を記述した記述データを生成する生成手段と、
   前記記述データを送信する送信手段と、を有し、
   前記受信手段が受信する前記取得要求は、前記送信した記述データに基づく取得要求であることを特徴とする請求項１に記載の通信装置。
3. 前記視点位置情報は前記取得要求に含まれていることを特徴とする請求項１または２に記載の通信装置。
4. 前記取得手段は、前記視点位置情報から、前記仮想視点映像セグメントの期間における開始視点位置と終了視点位置を取得し、
   前記送信手段は、前記開始視点位置と終了視点位置に基づく視点の仮想視点映像セグメントを前記送信することを特徴とする請求項１から３のいずれか１項に記載の通信装置。
5. 前記取得手段は、前記視点位置情報または最後に送信した仮想視点映像セグメントの終了視点位置の少なくとも一方から、前記仮想視点映像セグメントの前記開始視点位置と前記終了視点位置を求めることを特徴とする請求項４に記載の通信装置。
6. 前記仮想視点映像の前記開始視点位置および終了視点位置に基づき、前記取得要求に対応する仮想視点映像を符号化する符号化手段を有することを特徴とする請求項４または５に記載の通信装置。
7. 前記符号化手段は、前記開始視点位置と終了視点位置に応じて仮想視点映像セグメントの期間内を等速度で視点移動した仮想視点映像を符号化することを特徴とする請求項６に記載の通信装置。
8. 前記符号化手段は、前記視点移動の速度又は視点移動の距離に応じて仮想視点映像セグメントの期間内で視点移動した仮想視点映像を符号化することを特徴とする請求項７に記載の通信装置。
9. 前記視点位置情報は、前記仮想視点映像セグメントの期間における開始視点位置または終了視点位置の少なくとも一方の、三次元空間における座標と視線方向と焦点距離とを含むことを特徴とする請求項１から８のいずれか１項に記載の通信装置。
10. 前記視点位置情報は、前記仮想視点映像セグメントの期間における開始視点位置の三次元空間における座標と視線方向と焦点距離、および視点移動の速度または視点移動距離の少なくとも一方を含むことを特徴とする請求項１から８のいずれか１項に記載の通信装置。
11. 前記送信手段は、前記仮想視点映像セグメントの期間内に前記視点位置情報を取得した場合、予め定義された期間よりも短い期間の仮想視点映像セグメントを送信することを特徴とする請求項１から１０のいずれか１項に記載の通信装置。
12. 前記取得手段は、前記視点位置情報として少なくとも視点位置が切り替わるシナリオ情報を取得し、
    前記送信手段は、前記シナリオ情報の視点位置に対応した仮想視点映像セグメントを前記送信することを特徴とする請求項１から１１のいずれか１項に記載の通信装置。
13. 仮想視点映像を受信する通信装置であって、
    仮想視点映像を取得するための情報を記述した記述データに基づき、仮想視点映像セグメントの取得要求を生成する生成手段と、
    仮想視点映像に対する視点の位置を示す視点位置情報を取得する取得手段と、
    前記仮想視点映像セグメントの取得要求と前記視点位置情報とを、仮想視点映像を送信する装置に送信する送信手段と、
    前記仮想視点映像を送信する装置から送信される仮想視点映像セグメントを受信する受信手段と、
    を有することを特徴とする通信装置。
14. 仮想視点映像を取得するための情報を記述した前記記述データを取得する記述データ取得手段と、
    前記取得した記述データを解析する解析手段と、を有し、
    前記生成手段は前記記述データの解析の結果に基づいて前記仮想視点映像セグメントの取得要求を生成することを特徴とする請求項１３に記載の通信装置。
15. 前記視点位置情報は、前記仮想視点映像セグメントの期間における開始視点位置及び終了視点位置を含むことを特徴とする請求項１３または１４に記載の通信装置。
16. 前記視点位置情報は、前記仮想視点映像セグメントの期間における開始視点位置又は終了視点位置の少なくとも一方の三次元空間における座標と視線方向と焦点距離とを含むことを特徴とする請求項１３から１５のいずれか１項に記載の通信装置。
17. 前記視点位置情報は、前記仮想視点映像セグメントの期間における開始視点位置の三次元空間における座標と視線方向と焦点距離および視点移動速度または視点移動距離の少なくとも一つを含むことを特徴とする請求項１３から１５のいずれか１項に記載の通信装置。
18. 前記送信手段は、前記視点位置情報を前記仮想視点映像セグメントの取得要求に格納して前記送信することを特徴とする請求項１３から１７のいずれか１項に記載の通信装置。
19. 前記受信手段により受信した前記仮想視点映像セグメントを復号化する復号化手段と、
    前記復号化された仮想視点映像セグメントを表示する表示手段と、
    ユーザが情報を入力する入力手段と、を備え、
    前記視点位置情報は、前記入力手段によりユーザにより入力される情報に基づく情報であることを特徴とする請求項１３から１８のいずれか１項に記載の通信装置。
20. 仮想視点映像を送信する第１の通信装置と、
    仮想視点映像を受信する第２の通信装置と、を有し、
    前記第２の通信装置は、仮想視点映像を取得するための情報を記述した記述データに基づき仮想視点映像セグメントの取得要求を生成し、前記仮想視点映像セグメントの取得要求と前記仮想視点映像に対する視点の位置を示す視点位置情報とを、前記第１の通信装置に送信し、
    前記第１の通信装置は、前記第２の通信装置から前記仮想視点映像セグメントの取得要求を受信し、さらに前記視点位置情報を取得すると、前記視点位置情報に対応した仮想視点映像セグメントを、前記取得要求を行った前記第２の通信装置に送信する
    ことを特徴とする通信システム。
21. 仮想視点映像を送信する通信装置が実行する通信方法であって、
    仮想視点映像の取得要求を受信する受信工程と、
    仮想視点映像に対する視点の位置を示す視点位置情報を、前記取得要求を行った装置から取得する取得工程と、
    前記視点位置情報に対応した仮想視点映像セグメントを、前記取得要求を行った装置に送信する送信工程と、
    を有することを特徴とする通信方法。
22. 仮想視点映像を受信する通信装置が実行する通信方法であって、
    仮想視点映像を取得するための情報を記述した記述データに基づき、仮想視点映像セグメントの取得要求を生成する生成工程と、
    仮想視点映像に対する視点の位置を示す視点位置情報を取得する取得工程と、
    前記仮想視点映像セグメントの取得要求と前記視点位置情報とを、仮想視点映像を送信する装置に送信する送信工程と、
    前記仮想視点映像を送信する装置から送信される仮想視点映像セグメントを受信する受信工程と、
    を有することを特徴とする通信方法。
23. コンピュータを、請求項１から１９のいずれか１項に記載の通信装置の各手段として機能させるためのプログラム。

Images