JP2021033354A - 通信装置およびその制御方法 - Google Patents

Abstract

【課題】視聴装置の左右の視点位置に基づいて、適切な左視点用の映像データおよび右視点用の映像データを再生できるようにすること。【解決手段】通信装置は、オブジェクトの位置情報と、前記オブジェクトを撮像する複数の撮像装置の位置情報とを取得する第１の取得手段と、他の通信装置において左視界の映像を見る左視点位置と、右視界の映像を見る右視点位置とを取得する第２の取得手段と、前記オブジェクトの位置情報と前記複数の撮像装置の位置情報と前記左視点位置と前記右視点位置とに基づいて、前記左視界に対応する位置に在る撮像装置と前記右視界に対応する位置に在る撮像装置とを選択する選択手段と、前記選択手段により選択された撮像装置が撮像した映像のデータにアクセスするために必要な情報を生成する生成手段と、前記生成手段で生成された情報を前記他の通信装置へ送信する送信手段と、を備える。【選択図】 図４

Description

本発明は、通信装置およびその制御方法に関する。

近年、被写体の周囲にネットワーク接続された多数のカメラを配置し同時撮像した多数の映像を合成することで、視点移動をシミュレートした映像を視聴するシステムが開発されている。また、多数の映像から視点に応じた映像を選択して視聴する所謂自由視点映像配信システムも開発されている。
自由視点映像配信システムでは、予め決められた方向からの映像ではなく、視聴者が随時選択する方向からの映像が即座に配信されることが求められる。多数の映像から視聴する映像を視聴者が選択することができる映像伝送方式として、国際標準技術であるＭＰＥＧ−ＤＡＳＨ（Ｄｙｎａｍｉｃ Ａｄａｐｔｉｖｅ Ｓｔｒｅａｍｉｎｇ ｏｖｅｒ ＨＴＴＰ）がある。以下の説明では、ＭＰＥＧ−ＤＡＳＨをＤＡＳＨと記載する。ＭＰＥＧはＭｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐの略である。ＨＴＴＰはＨｙｐｅｒｔｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌの略である。

ＤＡＳＨではＭＰＤ（Ｍｅｄｉａ Ｐｒｅｓｅｎｔａｔｉｏｎ Ｄｅｓｃｒｉｐｔｉｏｎ）と呼ばれる映像データのダウンロードリスト（プレイリスト）の記述方式が定義されている。ＭＰＤには、一つ以上の映像のダウンロードＵＲＬ、各映像の再生時間、データレート、階層符号化、映像間の関係などの、ストリーミング再生に必要な情報が記載される。視聴機器はまずＭＰＤを配信機器からダウンロードする。そして、視聴機器は、ＭＰＤに記載されている映像情報に基づいてダウンロードする映像を選択し、配信機器から選択映像データをダウンロードし再生する。ＵＲＬは、Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒの略である。

自由な視点からの映像を伝送するための技術として、カメラとカメラの間にある視点位置が指定された場合に、隣接するカメラからの映像を選択して配信し合成表示する技術も開示されている（特許文献１）。また、隣り合う二つのカメラの映像を左右視点映像とすることでステレオ映像を生成する技術も開発されている。自由視点映像システムの視聴機器でステレオ映像を視聴するには、多数のカメラの映像から視点位置に応じた左右それぞれの視点に対応する適切な映像が選択される必要がある。映像データの配信方式として国際標準であるＤＡＳＨを使用することで、様々な視聴機器でステレオ映像を視聴可能となることが期待できる。

特開２０１５−１２５４９３号公報

自由視点映像システムの映像を視点位置に応じたステレオ映像として視聴することは、視聴者の所望する方向からの臨場感のある映像体験を実現する点で非常に有用である。しかしながら、特許文献１の技術では、複数配置されたカメラと被写体と左右視点との位置関係を視聴機器が把握していない。そのため、視聴機器は左右視点それぞれに対応する映像を適切に選択できない。

また、被写体へ近づいた位置を視点位置とする場合、被写体への近づき度合いと左右視点位置の差に応じて左右視点それぞれに対応するカメラ映像は変化する。視点位置が被写体に近づく動作に対し、映像を拡大表示することで近接を表現することは可能であるが、視点位置に応じた実際の被写体への画角のズレと拡大表示による映像表示の劣化が生ずる。
上記した課題に鑑み、本発明の目的は、視聴装置の左右の視点位置に基づいて、適切な左視点用の映像データおよび右視点用の映像データを再生できるようにすることである。

上記した目的を達成するために、本発明の１つの態様による通信装置は、オブジェクトの位置情報と、前記オブジェクトを撮像する複数の撮像装置の位置情報とを取得する第１の取得手段と、他の通信装置において左視界の映像を見る左視点位置と、右視界の映像を見る右視点位置とを取得する第２の取得手段と、前記オブジェクトの位置情報と前記複数の撮像装置の位置情報と前記左視点位置と前記右視点位置とに基づいて、前記左視界に対応する位置に在る撮像装置と前記右視界に対応する位置に在る撮像装置とを選択する選択手段と、前記選択手段により選択された撮像装置が撮像した映像のデータにアクセスするために必要な情報を生成する生成手段と、前記生成手段で生成された情報を前記他の通信装置へ送信する送信手段と、を備える。

本発明によれば、視聴装置の左右の視点位置に基づいて、適切な左視点用の映像データおよび右視点用の映像データを再生できる。

実施形態１のシステム構成図。 図１のサーバ装置の機能構成を示すブロック図。 図１の再生装置の機能構成を示すブロック図。 実施形態１におけるＭＰＤの生成と映像再生のフローチャート。 図４のフローチャートにおけるＭＰＤ生成ステップの詳細フローチャート。 左右視点位置に応じたカメラ選択を説明する図。 図１のサーバ装置のハードウェア構成を示すブロック図。 実施形態２におけるＭＰＤ生成ステップの詳細フローチャート。 視点距離に応じた階層符号化データの選択を説明する図。

以下、添付図面を参照して本発明の実施形態を詳細に説明する。なお、以下の実施形態は本発明を限定するものではなく、また、実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。実施形態の構成は、本発明が適用されるシステムおよび装置の仕様および各種条件（使用条件、使用環境等）によって適宜修正又は変更され得る。本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって確定されない。

以下に説明する実施形態では、映像伝送方式としてＭＰＥＧ−ＤＡＳＨを採用する。実施形態の中でＭＰＤに記載される撮像装置（カメラ）の物理的な配置情報について、配置の計測方法は本発明とは直接関係ない為、説明を行わない。また、サーバ装置がネットワーク上のカメラを発見する方法、および、クライアント装置（再生装置）がサーバ装置のアドレスを取得する方法についても、本発明とは直接関係ない為、説明を行わない。クライアント装置は複数あってもよいが、以下の実施形態では、クライアント装置が１つの場合を説明する。

＜実施形態１＞
＜通信システム＞
本実施形態の通信システム１の構成について、図１を参照して説明する。通信システム１は、被写体１０を撮影（撮像）する複数のカメラ１１〜１６と、サーバ装置２０と、再生装置３０と、ネットワーク４０とからなる。再生装置３０は、左ディスプレイ３０Ｌおよび右ディスプレイ３０Ｒを有する。カメラ１１〜１６は撮像装置の一例である。再生装置３０は視聴装置の一例である。被写体１０はオブジェクトと称してもよい。本実施形態のシステム１は自由視点映像システムである。サーバ装置２０は、通信装置の一例である。再生装置３０は、サーバ装置２０と通信する他の通信装置の一例である。
被写体１０は、例えば、人物である。自由視点映像の撮像対象である被写体１０が複数のカメラ１１〜１６により撮像される。カメラ１１〜１６は、例えば、ネットワークカメラである。カメラ１１〜１６は、同じ構成を有するカメラである。カメラ１１〜１６はそれぞれネットワーク４０に接続する。カメラ１１〜１６は、映像セグメントデータを出力する。なお、図１には６つのカメラ１１〜１６が図示されているが、カメラの数は６に限定されない。

ネットワーク４０は、例えば、ＬＡＮ、インターネット、公衆無線通信等の通信網である。通信網は、有線でも無線でもよい。ネットワーク４０にはサーバ装置２０と再生装置３０が接続する。ＬＡＮはＬｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋの略であり、例えばＩＥＥＥ８０２．１１規格に準拠した無線ＬＡＮである。公衆無線通信は例えば３Ｇ、４Ｇ、５Ｇ、ＬＴＥ等である。ＬＴＥはＬｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎの略である。ＬＴＥは、ＬＴＥ−ＡｄｖａｎｃｅｄおよびＬＴＥ−Ａｄｖａｎｃｅｄ Ｐｒｏを含む。ネットワーク４０の通信網は、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＮｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ（ＮＦＣ）などの近距離無線通信でもよい。
本実施形態のサーバ装置２０は、ＤＡＳＨサーバとして動作する。ＤＡＳＨサーバとは、映像伝送方式としてＭＰＥＧ−ＤＡＳＨを使用するサーバである。サーバ装置２０は、例えば、再生装置３０からＭＰＤ送信要求を受け取ると、ＭＰＤを生成し、当該ＭＰＤを再生装置３０に送信する。ＭＰＤ送信要求は、ＭＰＤを作成させる信号である。ＭＰＤは、カメラが撮像した映像データへアクセスするために必要な情報（例えば、映像データのダウンロードＵＲＬ）を含むプレイリストである。ＭＰＤには、映像（動画）のエンコードパラメータ（符号化方式、ビットレート等）や、セグメントの分割単位等も記述されている。ＭＰＤは、ＭＰＥＧ−ＤＡＳＨにより規定されたフォーマットで記述されている。
本実施形態の再生装置３０は、ＤＡＳＨクライアント装置として動作する。再生装置３０は、例えば、ステレオ映像が視聴可能なヘッドマウントディスプレイ装置（ＨＭＤ）であり、ＤＡＳＨ方式で配信される左右視点の映像を左ディスプレイ３０Ｌおよび右ディスプレイ３０Ｒに表示する。左ディスプレイ３０Ｌおよび右ディスプレイ３０Ｒは、例えば、液晶ディスプレイである。

＜サーバ装置の機能ブロック＞
図２はサーバ装置２０の機能構成を示すブロック図である。
サーバ装置２０は、通信部２１、ＭＰＤ生成部２２、カメラ配置情報部２３およびセグメント情報部２４を有している。カメラ配置情報部２３には、カメラ配置情報が格納される。カメラ配置情報は、カメラ１１〜１６の配置情報（位置情報）である。サーバ装置２０は、カメラ１１〜１６の配置情報を取得することができる。セグメント情報部２４には、セグメント情報が格納される。セグメント情報は、カメラ１１〜１６が出力する映像セグメントデータの情報である。映像セグメントは、例えば、数秒から１０秒程度の動画データであり、符号化されている。サーバ装置２０は、カメラ１１〜１６から映像セグメントデータを取得することができる。また、サーバ装置２０は、カメラ１１〜１６の撮像情報（画角を示す情報を含む）を取得することができる。
通信部２１はネットワーク４０に接続する。通信部２１がネットワーク４０を介して再生装置３０からＭＰＤ送信要求を受け取ると、ＭＰＤ生成部２２がＭＰＤを生成する。生成されたＭＰＤは、通信部２１からネットワーク４０を介して再生装置３０へ送信される。
ＭＰＤ生成部２２は、カメラ配置情報部２３とセグメント情報部２４を管理する。ＭＰＤ生成部２３は、カメラ配置情報とセグメント情報を参照してＭＰＤを生成する。

＜再生装置の機能ブロック＞
図３は再生装置３０の機能ブロックを示す。
再生装置３０は、再生制御部３１と、視点座標部３２と、通信部３３と、セグメントバッファ３４と、復号部３５と、左視界描画部３６と、右視界描画部３７とを有する。視点座標部３２は、左視点座標を検出するセンサおよび右視点座標を検出するセンサを含み、当該センサにより検出された左視点座標および右視点座標を格納している。なお、視点座標は、視聴座標と称してもよいし、視点位置と称してもよい。なお、以下の記載において、左視点座標および右視点座標をまとめて視点座標と称することがある。
通信部３３は、ネットワーク４０に接続して他の装置と通信する。通信部３３は、再生制御部３１による制御の下で、ネットワーク４０を介して、サーバ装置２０にＭＰＤ送信要求を送信する。ＭＰＤ送信要求は視点座標を含む。視点座標は、物理的な絶対座標でもよいし、サーバ装置２０より予め提供される座標系（例えば、被写体１０に対する相対座標、または、カメラと被写体１０の間の距離に対する比により示される位置）でもよいし、視点候補を指定する識別子でもよい。
また、通信部３３は、ネットワーク４０を介して、ＤＡＳＨ方式で配信される映像セグメントデータを例えばサーバ装置２０から受信（ダウンロード）する。

再生制御部３１は、通信部３３が受信した映像セグメントデータからステレオ映像を再生するための制御を行う。再生制御部３１は、ＤＡＳＨ仕様で規定されているＭＰＤを解析する機能と、映像セグメントデータをダウンロードする機能と、ダウンロードした映像セグメントデータをセグメントバッファ３４へ格納する機能とを有する。映像セグメントデータのダウンロードは、ＭＰＤに記述されているＵＲＬに基づいて行なわれる。
復号部３５は、バッファ３４に格納された映像セグメントデータを復号化する。復号部３５により復号化された映像セグメントデータは、左視界描画部３６と右視界描画部３７に供給される。左視界描画部３６は、映像セグメントデータから、左の視界用のステレオ映像を描画する。描画された左視界用のステレオ映像は、左ディスプレイ３０Ｌに表示される。右視界描画部３７は、映像セグメントデータから、右の視界用のステレオ映像を描画する。描画された右視界用のステレオ映像は、右ディスプレイ３０Ｒに表示される。また、再生制御部３１は視点座標を管理する。

再生装置３０は、サーバ装置２０に視点座標を含むＭＰＤ送信要求を送信し、ＭＰＤ送信要求に応じてサーバ装置２０から送信されたＭＰＤを受信する。再生装置３０は、ＭＰＤから左右視界映像として再生する映像セグメントを選択し、該当するカメラに映像セグメント送信要求をする機能と、受信した映像セグメントの映像データを左右視界それぞれで再生する機能とを有する。

なお、図２および図３に示す各機能部は、ＡＳＩＣ等の専用のハードウェア又はソフトウェアとしてサーバ装置２０および再生装置３０に実装される。ハードウェアとして実装される場合は、各機能部それぞれ又はいくつかをまとめた専用のハードウェアモジュールとして実装してもよい。例えば、サーバ装置２０において、ソフトウェアとして実装される場合には、各機能部を実行するためのプログラムが後述のサーバ装置２０の記憶部５１に記憶され、制御部５２のプロセッサにより適宜読み出されて実行される。ＡＳＩＣは、Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ（特定用途向け集積回路）の略である。

＜ＭＰＤ生成と映像再生＞
図４のシーケンス図を参照して、ＭＰＤ生成部２２がカメラ配置情報２３、セグメント情報２４および左右の視点座標に基づいて、映像セグメントごとのカメラ選択情報をＭＰＤに追記する手順を説明する。ＳはＳｔｅｐの略である。
まず再生装置３０が、ステレオ視する左右の視点座標を決定する（Ｓ４１）。より詳しくは、再生装置３０のセンサが、左右の視点座標を検出することにより、左右の視点座標が決定される。
次に再生装置３０は、サーバ装置２０に対して、Ｓ４１で決定された視点座標を指定してＭＰＤの送信を要求する（Ｓ４２）。

サーバ装置２０は再生装置３０からＭＰＤ送信要求を受信すると（Ｓ４３）、当該ＭＰＤ送信要求に応じたＭＰＤを生成し（Ｓ４４）、再生装置３０へＭＰＤを送信する（Ｓ４５）。ＭＰＤの記載内容は、ＤＡＳＨ仕様書に記載のステレオ視映像の記述方法で記載される。例えば、ＭＰＤには、映像セグメントのリスト（セグメントリスト）が含まれている。なお、ＭＰＤを生成するための処理であるＭＰＤ生成処理（Ｓ４４）の詳細は、図５を用いて後述する。
再生装置３０は、サーバ装置２０からＭＰＤを受信すると（Ｓ４６）、当該ＭＰＤに記載されたセグメントリストから左右視点の映像をそれぞれダウンロードする（Ｓ４７）。そして、再生装置３０は、ダウンロードした左右視点映像のそれぞれを再生する（Ｓ４８）。

＜ＭＰＤ生成の詳細＞
次に図５および図６を参照して左右視点座標から送信映像を選択しＭＰＤを生成する処理（Ｓ４４）の詳細を説明する。図５はＳ４４の詳細な処理フローを示している。
まず、サーバ装置２０は、再生装置３０から受信したＭＰＤ送信要求から視点座標情報を取得し（Ｓ５１）、左右視点の座標を決定する（Ｓ５２）。視点座標情報は、左右各視点の座標であってもよいし、再生装置３０の仮想的な配置座標と再生装置３０上の左右各視点との差分情報の組み合わせでもよい。なお、視点座標情報が左右各視点の座標である場合には、Ｓ５２を省略することができる。
次に、サーバ装置２０は、Ｓ５２で決定された左右視点の各座標（各位置情報）と被写体１０とを結ぶ線の延長線上の撮像座標を計算する（Ｓ５３）。そして、サーバ装置２０は、撮像座標とカメラの配置情報から２つのカメラ（左視点映像用のカメラと右視点映像用のカメラ）を選択（決定）する（Ｓ５４）。
そして、サーバ装置２０は、選択されたカメラの映像データにアクセスして再生するのに必要な情報を含むＭＰＤを生成する（Ｓ５５）。ＭＰＤは、映像データへのアクセス情報を含む。

図６は被写体１０と複数のカメラが配置される空間の中で、被写体１０と視点座標によって計算される延長線上のカメラを選択する手順を示している。視点座標が座標６７の場合、左右視点それぞれと被写体１０を結ぶ線の延長線からカメラ１４、１５が選択される。つまり、カメラ１４は左視界に対応する位置に在るカメラとして選択され、カメラ１５は右視界に対応する位置に在るカメラとして選択される。
視点座標が被写体１０に近づいて座標６８になった場合、左右視点それぞれと被写体１０を結ぶ線の延長線からカメラ１１、１３が選択される。さらに、視点座標が被写体１０に近づいて座標６９になった場合は、左右視点それぞれと被写体１０を結ぶ線の延長線からカメラ１２、１６が選択される。
なお、延長線上にカメラが存在しない場合には、当該延長線に最も近い撮像装置を選択してもよいし、延長線の近傍に存在する撮像装置を選択してもよい。延長線の近傍であると判断するための基準となる距離を予め設定しておき、延長線からその基準となる距離より近くに存在する撮像装置を選択するようにしてもよい。

＜サーバ装置のハードウェア構成＞
図７は、サーバ装置２０のハードウェア構成を示す。サーバ装置２０は、そのハードウェア構成として、例えば、記憶部５１、制御部５２、機能部５３、入力部５４、出力部５５、および通信部５６を有する。なお、図７の構成は一例であり、サーバ装置２０は、図７に示す構成の一部のみを有してもよいし、図７に示される以外の構成（例えば、アンテナ）を有してもよい。
記憶部５１は、ＲＯＭ、ＲＡＭの両方、または、いずれか一方の、１以上のメモリにより構成され、前述の各種動作を行うためのプログラムや、無線通信・有線通信のための通信パラメータ等の各種情報を記憶する。ＲＯＭはＲｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙの略であり、ＲＡＭはＲａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略である。なお、記憶部５１として、ＲＯＭ、ＲＡＭ等のメモリの他に、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＤＶＤなどの記憶媒体が用いられてもよい。ＤＶＤはＤｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃの略である。

制御部５２は、例えば、ＣＰＵやＭＰＵ等の一つ以上のプロセッサ、ＡＳＩＣ、ＤＳＰ（デジタルシグナルプロセッサ）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）等により構成される。ＣＰＵはＣｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略であり、ＭＰＵは、Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略である。制御部５２は、記憶部５１に記憶されたプログラムを実行することによりサーバ装置２０の全体を制御する。なお、制御部５２は、記憶部５１に記憶されたプログラムとＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）との協働によりサーバ装置２０の全体を制御するようにしてもよい。また、制御部５２は、機能部５３を制御して、映像表示等の所定の処理を実行する。図４および図５においてサーバ装置２０で実行される処理として説明した各ステップは、記憶部５１に記憶されたプログラムを制御部５２が実行することにより行われる。

機能部５３は、サーバ装置２０が所定の処理を実行するためのハードウェアである。機能部５３が処理するデータは、記憶部５１に記憶されているデータであってもよいし、通信部５６を介して再生装置３０やカメラ１１〜１６から受信したデータであってもよい。

入力部５４は、外部（ユーザを含む）からの各種操作の受付を行う。出力部５５は各種出力を行う。通信部５６は、有線通信又は無線通信の制御を行う。サーバ装置２０は通信部５６を介して、映像データや音声データ等のコンテンツを他の通信装置（例えば再生装置３０）と通信する。
なお、再生装置３０も図７と同様なハードウェア構成を有するが、再生装置３０は、左視点座標を検出するセンサと、右視点座標を検出するセンサとを有している。再生装置３０の出力部５５は、左ディスプレイ３０Ｌおよび右ディスプレイ３０Ｒを含む。出力部５５による出力は、左ディスプレイ３０Ｌおよび右ディスプレイ３０Ｒ上へのステレオ映像の表示を含む。また、出力部５５による出力は、スピーカによる音声出力や振動出力等含んでもよい。なお、図４において再生装置３０で実行される処理として説明した各ステップは、再生装置３０の記憶部５１に記憶されたプログラムを制御部５２が実行することにより行われる。
上記の説明では、再生装置３０としてヘッドマウントディスプレイ装置を説明したが、再生装置３０は通信機能を備えて映像を再生することができる装置であれば、ヘッドマウントディスプレイ装置以外でもよい。

＜実施形態１の効果＞
本実施形態では、複数のカメラ１１〜１６が被写体１０を撮像する環境で自由視点のステレオ映像をネットワーク配信するシステム１において、視聴機器である再生装置３０が指定する視聴位置（視点座標、視点位置）に応じた左右視点それぞれの位置に適切なカメラ映像を選択することができる。
この様な自由視点映像システム１が広く使用されるためには、専用の視聴機器の使用や既知の撮像環境の使用に制限（限定）されることなく、様々な視聴機器および撮像環境で自由視点映像システム１が使用できるようにすることが望ましい。一般的に、視聴機器が被写体１０に対する視聴位置を選択したとしても、視聴機器が、対応する映像を提供するカメラの位置を全て把握しているとは限らない。本実施形態によれば、再生装置３０が指定する視聴位置に基づいて、サーバ装置２０が適切なカメラ映像を選択することが可能となる。従って、従来に比べ、視聴位置の被写体への近接度合いに応じて左右視点の画角に合致するカメラ映像を選択することが可能となる。

また、左右視点映像の配信方式にＭＰＥＧ−ＤＡＳＨを使用することで、一般な視聴機器に対しても左右視点それぞれのステレオ映像を明示（供給、提供）することが可能となり、一般的な視聴機器でステレオ映像を再生することができるようになる。

＜実施形態２＞
実施形態２として、カメラが出力する映像が階層符号化されている場合に、視点位置に応じてアクセスすべき階層映像データ（以下、「階層データ」と称する）を選択する手順について説明する。以下の記載において実施形態１と同様な構成には同じ参照符号を付ける。
本実施形態のシステム構成は図１と同じであり、サーバ装置２０の構成は図２と同じであり、再生装置３０の構成は図３および図７と同じである。また、図４で説明した再生装置３０とサーバ装置２０との処理手順も、実施形態１と同様である。
本実施形態では、カメラ１１〜１６は映像データを階層符号化する機能を備え、サーバ装置２０は、視点位置に応じて再生する階層を選択する機能を備えているとする。これら機能以外は、実施形態１と同じであるので、重複する動作・処理の説明は省略する。サーバ装置２０がカメラ１１〜１６から取得する撮像情報には、映像データが階層符号化されているかの情報が含まれている。また、撮像情報には、階層符号化の階層数に関する情報も含まれている。

＜階層符号化＞
各カメラ１１〜１６は、階層符号化部を有する。本実施形態では、階層符号化部が１つの映像データを符号化すると、符号化された映像データは、基本階層データと、第１階層データ（第１の拡張レイヤデータ）と、第２階層データ（第２の拡張レイヤデータ）とを含むようになるとする。この場合、階層符号化の階層数は３である。基本階層データだけを復号化すると、低品質の復号映像が得られる。基本階層データおよび第１階層データを復号化すると、中品質の復号映像が得られる。基本階層データ、第１階層データおよび第２階層データを全て復号化すると、高品質の復号映像が得られる。

＜ＭＰＤ生成の詳細＞
本実施形態では図４のＳ４４（図５のＳ５１〜Ｓ５５）のＭＰＤ生成処理の詳細手順に新たな処理が追加される。図８は本実施形態のＭＰＤ生成処理の詳細手順を示すフローチャートである。
Ｓ５１〜Ｓ５４の左右視点に応じたカメラの選択までは実施形態１と同様である。Ｓ５４でカメラを選択した後、Ｓ７１に移行する。
Ｓ７１において、サーバ装置２０は、選択されたカメラが出力する階層符号化の階層数を取得する。上記したように、階層符号化の階層数は３である。
Ｓ７２において、サーバ装置２０は、カメラが階層符号化を行っているかを判定する。Ｓ７２の判定結果がＮｏの場合、つまり、カメラが階層符号化を行なっていない場合は、実施形態１と同様にＭＰＤ生成処理（Ｓ５５）へ移行する。Ｓ７２の判定結果がＹｅｓの場合、つまり、カメラが階層符号化を行っている場合は、Ｓ７３へ移行する。

Ｓ７３においてサーバ装置２０は、階層数に応じた被写体距離の範囲を決定する。被写体距離とは視点位置から被写体１０までの距離であり、被写体距離の範囲とは、被写体距離が属する範囲である。被写体距離の範囲は、本実施形態では、カメラから被写体１０までの距離（空間）を階層数に応じて分割した結果得られる複数の区間である。図９は階層数で分割した被写体距離の範囲の例を示す。階層数は３なので、図９において被写体距離の範囲は３つある。図９では、矢印に直交する２本の破線により、被写体とカメラの間の空間が３分割されていることが示されている。
Ｓ７４において、被写体距離から映像表示の範囲を決定する。これは被写体１０に近づくことによる拡大表現（画像拡大）の処理に相当する。Ｓ７４により、視点位置（８１、８３または８５）の存在範囲が決定される。

次にＳ７３およびＳ７４で決定した視点位置の存在範囲および映像表示範囲から、再生装置３０への送信対象とする階層データ、つまり再生装置３０がアクセスすべき階層データを選択・決定する（Ｓ７５）。図９（ａ）〜（ｃ）は、３分割された被写体距離の範囲のそれぞれに視点位置が選択された場合の送信対象となる階層データ８２、８４、８６を示している。図９（ａ）の場合は、視点位置８１は最も遠い被写体距離範囲にあるため、送信対象となる階層データ８２は基本階層データのみとなる。図９（ｂ）の場合は、視点位置８３は中間の被写体距離範囲にあるため、送信対象となる階層データ８４は基本階層データと第１の拡張レイヤデータとなる。図９（ｃ）の場合は、視点位置８５は最も近い被写体距離範囲にあるため、送信対象となる階層データ８６は、基本階層データから第２の拡張レイヤデータまでのすべての階層データとなる。
Ｓ７５で送信対象の階層データ（アクセスすべき階層データ）が決定すると、当該送信対象に基づいてＭＰＤを生成（Ｓ５５）して終了する。

なお、カメラの階層符号化が空間的符号化に対応し階層データをタイル分割する場合は、表示範囲のタイルを選択することになる。より詳しくは、タイル符号化が含まれる階層符号化がカメラ１１〜１６で行われる場合、ＭＰＤ生成部２２は、左視点位置からオブジェクト１０までの距離が近いほど、アクセスすべき左視界用階層映像データから除外するタイルを多くする。また、ＭＰＤ生成部２２は、右視点位置からオブジェクト１０までの距離が近いほど、アクセスすべき右視界用階層映像データから除外するタイルを多くする。タイルの除外は、映像データの周辺タイルから順次行われる。このようにタイルを除外することにより、オブジェクト１０への接近に伴う拡大表示により不要となる周辺画像の送信を行なわないようにしている。

また、ＭＰＤ生成部２２は、アクセスすべき階層映像データの階層が増加するのに伴い、当該アクセスすべき階層映像データから除外するタイルの数を増加させてもよい。このように除外するタイルの数を増加すると、階層増加による映像詳細化と送信不要タイル数増加を連動させることができる。
ＭＰＤ生成部２２は、アクセスすべき階層映像データの階層およびタイルの構成が、左視界用階層映像データと右視界用階層映像データとで一致するようにＭＰＤを生成する。送信する階層及びタイルの構成を、左右視の組み合わせで一致させることで、左右視界映像間の画質および表示範囲の不一致を回避することができる。

＜実施形態２の効果＞
本実施形態でも、実施形態１と同様な効果が得られる。さらに、本実施形態によれば、カメラ１１〜１６が階層符号化部を備えており、カメラが出力する映像が階層符号化される場合に、サーバ装置２０は、視点位置に応じて、アクセスすべき階層データを適切に選択することができる。つまり、サーバ装置２０は、視点位置の被写体への近接度合いに応じて階層符号化された映像データを適切な階層での再生できるようにＭＰＤを生成し、当該ＭＰＤを再生装置３０に送信することができる。このようなＭＰＤを受信した再生装置３０が、ＭＰＤに記述された階層データにアクセスして映像を再生すれば、被写体へ近づいた視点の場合に拡大された映像による臨場感の低下は発生しない。

なお、上記した実施形態２において、階層符号化の階層数は３に限定されない。また、図７において、Ｓ７１の前にＳ７２を実行してもよい。この場合、Ｓ７２の判定結果がＹｅｓの場合にのみ、Ｓ７１を実行し、Ｓ７１の後にＳ７３に移行する。Ｓ７２の判定結果がＮｏの場合、Ｓ５５に移行する。
上記した実施形態１および２において、再生装置３０へ映像を視聴するとしたが、映像を見るだけでもよい。つまり、再生装置３０は、映像（動画、静止画）を再生するだけでもよい。この場合、左視点位置は、再生装置３０において左視界の映像を見る視点位置であり、右視点位置は、再生装置３０において右視界の映像を見る視点位置となる。視聴は、見る場合のみと、聴く場合のみと、見て聴く場合とを含むとする。カメラ１１〜１６は同じ構成を有するとしたが、異なる構成のカメラでもよい。
再生装置３０は、ＰＣ、タブレット端末、カメラ、モバイル端末（スマートフォンなど）などでもよい。

＜その他の実施形態＞
以上、実施形態例を詳述したが、本発明は例えば、システム、装置、方法、プログラム若しくは記録媒体(記憶媒体)等としての実施態様をとることが可能である。具体的には、複数の機器（例えば、ホストコンピュータ、インタフェース機器、撮像装置、ｗｅｂアプリケーション等）から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０…被写体、１１〜１６…カメラ、２０…サーバ装置、２２…ＭＰＤ生成部、２３…カメラ配置情報部、２４…セグメント情報部、３０…再生装置、３１…再生制御部、３２…視点座標管理部

Claims (14)

1. オブジェクトの位置情報と、前記オブジェクトを撮像する複数の撮像装置の位置情報とを取得する第１の取得手段と、
   他の通信装置において左視界の映像を見る左視点位置と、右視界の映像を見る右視点位置とを取得する第２の取得手段と、
   前記オブジェクトの位置情報と前記複数の撮像装置の位置情報と前記左視点位置と前記右視点位置とに基づいて、前記複数の撮像装置から、前記左視界に対応する位置に在る撮像装置と前記右視界に対応する位置に在る撮像装置とを選択する選択手段と、
   前記選択手段により選択された撮像装置が撮像した映像のデータにアクセスするために必要な情報を生成する生成手段と、
   前記生成手段で生成された情報を前記他の通信装置へ送信する送信手段と、
   を備えることを特徴とする通信装置。
2. 前記選択手段は、前記オブジェクトの位置と前記左視点位置とを結ぶ線の延長線上に在るまたは当該延長線の近傍にある撮像装置を前記左視界に対応する位置に在る撮像装置として選択し、前記オブジェクトの位置と前記右視点位置とを結ぶ線の延長線上に在るまたは当該延長線の近傍にある撮像装置を前記右視界に対応する位置に在る撮像装置として選択することを特徴とする請求項１に記載の通信装置。
3. 前記左視点位置および前記右視点位置の各々は、絶対座標により示される位置、前記オブジェクトに対する相対座標により示される位置、または前記撮像装置と前記オブジェクトとの間の距離に対する比により示される位置であることを特徴とする請求項１に記載の通信装置。
4. 前記映像のデータが階層符号化されているか否かを判定する判定手段をさらに備え、
   前記判定手段により、前記映像のデータが階層符号化されていると判定された場合、前記生成手段は、前記左視点位置および前記右視点位置に基づいて、前記階層符号化により生成される階層映像データの何れにアクセスすべきかの情報を、前記アクセスするために必要な情報に含ませることを特徴とする請求項１〜３のいずれかの１項に記載の通信装置。
5. 前記生成手段は、前記撮像装置と前記オブジェクトの間の空間を前記階層符号化の階層数で複数の区間に分割し、前記左視点位置が何れの区間に入るかに基づいて、前記アクセスすべき左視界用階層映像データを決定し、前記右視点位置が何れの区間に入るかに基づいて、前記アクセスすべき右視界用階層映像データを決定することを特徴とする請求項４に記載の通信装置。
6. 前記生成手段は、前記左視点位置から前記オブジェクトまでの距離が近いほど、前記アクセスすべき左視界用階層映像データを多くし、前記右視点位置から前記オブジェクトまでの距離が近いほど、前記アクセスすべき右視界用階層映像データを多くすることを特徴とする請求項５に記載の通信装置。
7. 前記階層符号化にタイル符号化が含まれている場合、前記生成手段は、前記左視点位置から前記オブジェクトまでの距離が近いほど、前記アクセスすべき左視界用階層映像データから除外するタイルを多くし、前記右視点位置から前記オブジェクトまでの距離が近いほど、前記アクセスすべき右視界用階層映像データから除外するタイルを多くし、前記タイルの除外は、前記映像データの周辺タイルから順次行われることを特徴とする請求項６に記載の通信装置
8. 前記生成手段は、前記アクセスすべき階層映像データの階層が増加するのに伴い、前記アクセスすべき階層映像データから除外するタイルの数を増加させることを特徴とする請求項７に記載の通信装置。
9. 前記生成手段は、前記アクセスすべき階層映像データの階層およびタイルの構成が、左視界用階層映像データと右視界用階層映像データとで一致するようにすることを特徴とする請求項７に記載の通信装置。
10. 前記生成手段が生成する情報は、ＭＰＥＧ−ＤＡＳＨ（Ｄｙｎａｍｉｃ Ａｄａｐｔｉｖｅ Ｓｔｒｅａｍｉｎｇ ｏｖｅｒ ＨＴＴＰ）により規定されたフォーマットで記述されていることを特徴とする請求項１から９のいずれか１項に記載の通信装置。
11. オブジェクトを撮像する複数の撮像装置が撮像した映像と、他の通信装置からの情報とを用いて、ステレオ映像を再生可能な通信装置であって、
    左視界の映像を見る左視点位置と、右視界の映像を見る右視点位置とを検出する検出手段と、
    前記他の通信装置に、前記左視界に対応する位置に在る撮像装置が撮像した映像のデータにアクセスするために必要な情報と、前記右視界に対応する位置に在る撮像装置が撮像した映像のデータにアクセスするために必要な情報とを、前記検出手段が検出した左視点位置および右視点位置に基づいて作成させる信号を送信する送信手段と、
    前記送信手段によって送信された信号に基づいて前記他の通信装置で生成された情報を受信する受信手段と、
    を備えることを特徴とする通信装置。
12. 映像再生に必要な情報を送信する通信装置の制御方法であって、
    オブジェクトの位置情報を取得するステップと、
    前記オブジェクトを撮像する複数の撮像装置の位置情報を取得するステップと、
    他の通信装置において左視界の映像を見る左視点位置と、右視界の映像を見る右視点位置とを取得するステップと、
    前記オブジェクトの位置情報と前記複数の撮像装置の位置情報と前記左視点位置と前記右視点位置とに基づいて、前記複数の撮像装置から、前記左視界に対応する位置に在る撮像装置と前記右視界に対応する位置に在る撮像装置とを選択するステップと、
    前記選択するステップにより選択された撮像装置が撮像した映像のデータにアクセスするために必要な情報を生成するステップと、
    前記生成するステップで生成された情報を前記他の通信装置へ送信するステップと、
    を有することを特徴とする制御方法。
13. オブジェクトを撮像する複数の撮像装置が撮像した映像と、他の通信装置からの情報とを用いて、ステレオ映像を再生可能な通信装置の制御方法であって、
    前記通信装置において左視界の映像を見る左視点位置と、右視界の映像を見る右視点位置とを検出するステップと、
    前記他の通信装置に、前記左視界に対応する位置に在る撮像装置が撮像した映像のデータにアクセスするために必要な情報と、前記右視界に対応する位置に在る撮像装置が撮像した映像のデータにアクセスするために必要な情報とを、前記検出ステップで検出した左視点位置および右視点位置に基づいて作成させる信号を送信するステップと、
    前記送信するステップによって送信された信号に基づいて前記他の通信装置で生成された情報を受信するステップと、
    を有することを特徴とする制御方法。
14. コンピュータを、請求項１から１１のいずれか１項に記載の通信装置の各手段として機能させるためのプログラム。

Images