JP2014072608A - 情報処理システム、情報処理装置、表示装置、及びプログラム - Google Patents

Abstract

【課題】通信手段を介して受信される範囲情報に従って表示装置が映像を表示させる場合に、表示装置が表示範囲を推定しなくても適切な表示範囲で映像を表示させる。
【解決手段】表示装置に表示される映像の表示範囲の変更指示を受け付ける受付手段と、受付手段により変更指示が受け付けられたとき、変更指示に基づいて表示範囲の予測値を示す予測範囲情報を生成する生成手段と、生成手段により生成された予測範囲情報を表示装置へ送信する送信手段と、を備える情報処理装置と、表示手段に表示させる映像を表す映像情報を取得する取得手段と、予測範囲情報を、通信を介して情報処理装置から受信する受信手段と、受信手段により受信された予測範囲情報に従って、取得手段により取得された映像情報により表示可能な映像の一部の範囲を表示する表示制御手段と、を備える表示装置と、を備える。
【選択図】図４

Description

本発明は、表示手段に表示させる映像の表示範囲を示す範囲情報に従って映像の一部の範囲を表示する表示装置に、通信手段を介して範囲情報を送信する技術分野に関する。

例えば、特許文献１には、ネットワークを介して接続される複数のコンテンツ視聴装置が開示されている。具体的に、一のコンテンツ視聴装置が、視聴者の操作により入力されたコンテンツの視点などを含む視聴設定データを他のコンテンツ視聴装置へ送信する。これにより、複数のコンテンツ視聴装置の間で視聴設定データを同期させ、複数の視聴者が同じコンテンツを同じ視点で映像を視聴することができるようにすることが開示されている。

特開２００６−５４１５号公報

しかしながら、ネットワークを介して視聴設定データが送信される場合、視聴設定データが他のコンテンツ視聴装置に到達するまでの到達時間に遅延などによる時間差が生じることがある。この場合、他のコンテンツ視聴装置は、視聴設定データを受信することができない間、視点などを設定することができない。視聴設定データの到達時間の間隔に時間差が生じると、視聴設定データに基づく表示に遅延が生じ、映像の表示が途切れる場合がある。視点などを設定するためには、他のコンテンツ視聴装置は、今までに受信した視聴設定データに基づいて、視点などを推定する必要がある。

本発明は、以上の点に鑑みてなされたものであり、通信手段を介して受信される範囲情報に従って表示装置が映像を表示させる場合に、表示装置が表示範囲を推定しなくても適切な表示範囲で映像を表示させることを可能とする情報処理システム、情報処理装置、表示装置、及びプログラムを提供することを目的とする。

上記課題を解決するために、請求項１に記載の発明は、表示装置に表示される映像の表示範囲の変更指示を受け付ける受付手段と、前記受付手段により変更指示が受け付けられたとき、前記変更指示に基づいて前記表示範囲の予測値を示す予測範囲情報を生成する生成手段と、前記生成手段により生成された前記予測範囲情報を前記表示装置へ送信する送信手段と、を備える情報処理装置と、表示手段に表示させる映像を表す映像情報を取得する取得手段と、前記予測範囲情報を、通信手段を介して情報処理装置から受信する受信手段と、前記受信手段により受信された前記予測範囲情報に従って、前記取得手段により取得された映像情報により表示可能な映像の一部の範囲を表示する表示制御手段と、を備える表示装置と、を備えることを特徴とする。

請求項２に記載の発明は、前記表示装置は、三次元仮想空間において、パノラマ映像を表す前記映像情報に基づいて、パノラマ映像が表示される仮想立体面に対する視点位置、視線方向及び視野面積に応じた範囲で、パノラマ映像を表示可能であり、前記受付手段は、表示装置に表示されるパノラマ映像の表示範囲として、前記視点位置、前記視線方向及び前記視野面積の少なくとも何れか１つを含む前記変更指示を受け付け、前記生成手段は、前記受付手段により変更指示が受け付けられたとき、前記変更指示に基づいて、パノラマ映像における前記視点位置、前記視線方向及び前記視野面積のうち前記変更指示に応じた少なくとも何れか１つの予測値を含む前記予測範囲情報を生成し、前記送信手段は、前記生成手段により生成された前記予測範囲情報を前記表示装置へ送信し、前記取得手段は、パノラマ映像を表す前記映像情報を取得し、前記受信手段は、パノラマ映像における前記予測範囲情報を、通信を介して情報処理装置から受信し、前記表示制御手段は、前記受信手段により受信された前記予測範囲情報に従って、前記取得手段により取得された映像情報により表示可能なパノラマ映像の一部の範囲を表示することを特徴とする。

請求項３に記載の発明は、前記仮想立体面における前記視野面積を定める視野角の予測値を含む前記予測範囲情報を生成することを特徴とする。

請求項４に記載の発明は、前記視点位置からの前記視線方向を定める方位角及び仰俯角の予測値を含む前記予測範囲情報を生成することを特徴とする。

請求項５に記載の発明は、前記生成手段は、前記受付手段により受け付けられた変更指示に応じたアルゴリズムにより前記変更指示に従って前記表示範囲が変更される場合における現在よりも後の前記表示範囲を決定し、決定された表示範囲を示す前記予測範囲情報を生成することを特徴とする。

請求項６に記載の発明は、表示手段に表示させる映像の表示範囲を予測した予測範囲情報に従って、前記映像の一部の範囲を表示する表示装置と通信可能な情報処理装置であって、前記表示装置に表示される映像の表示範囲の変更指示を受け付ける受付手段と、前記受付手段により変更指示が受け付けられたとき、前記変更指示に基づいて前記表示範囲の予測値を示す予測範囲情報を生成する生成手段と、前記生成手段により生成された前記予測範囲情報を前記表示装置へ送信する送信手段と、を備える情報処理装置。

請求項７に記載の発明は、表示手段に表示させる映像を表す映像情報を取得する取得手段と、表示装置に表示される映像の表示範囲の変更指示を受け付ける受付手段、及び、前記受付手段により変更指示が受け付けられたとき、前記変更指示に基づいて前記表示範囲の予測値を示す予測範囲情報を生成する生成手段を備える情報処理装置から、前記予測範囲情報を通信手段を介して受信する受信手段と、前記受信手段により受信された前記予測範囲情報に従って、前記取得手段により取得された映像情報により表示可能な映像の一部の範囲を表示する表示制御手段と、を備えることを特徴とする。

請求項８に記載の発明は、表示手段に表示させる映像の表示範囲を予測した予測範囲情報に従って、前記映像の一部の範囲を表示する表示装置と通信可能な情報処理装置のコンピュータに、前記表示装置に表示される映像の表示範囲の変更指示を受け付ける受付ステップと、前記受付ステップにより変更指示が受け付けられたとき、前記変更指示に基づいて前記表示範囲の予測値を示す予測範囲情報を生成する生成ステップと、前記生成ステップにより生成された前記予測範囲情報を前記表示装置へ送信する送信ステップと、を実行させることを特徴とする。

請求項９に記載の発明は、表示装置のコンピュータに、表示手段に表示させる映像を表す映像情報を取得する取得ステップと、表示装置に表示される映像の表示範囲の変更指示を受け付ける受付手段、及び、前記受付手段により変更指示が受け付けられたとき、前記変更指示に基づいて前記表示範囲の予測値を示す予測範囲情報を生成する生成手段を備える情報処理装置から、前記予測範囲情報を通信手段を介して受信する受信ステップと、前記受信ステップにより受信された前記予測範囲情報に従って、前記取得ステップにより取得された映像情報により表示可能な映像の一部の範囲を表示する表示制御ステップと、を実行させることを特徴とする。

請求項１、６乃至９に記載の発明によれば、予測範囲情報が表示装置に到達するまでに遅延などが生じても、表示装置は今までに受信している視点の変更指示に基づく予測範囲情報が示す予測値に従って映像の表示範囲を決定すればよい。そのため、表示装置が表示範囲を推定しなくても適切な表示範囲で映像を表示させることができる。

請求項２に記載の発明によれば、仮想立体面に表示されるパノラマ映像に対する視点位置、視線方向及び前記視野面積の少なくとも何れか１つが変更された場合、視点位置、視線方向及び前記視野面積の少なくとも何れか１つの予測値を含む予測範囲情報が表示装置へ送信される。そのため、表示装置は、視点位置、視線方向及び前記視野面積の少なくとも何れか１つの予測値に従って、パノラマ映像の一部を表示手段に表示させることができる。

請求項３に記載の発明によれば、視野面積を定める視野角を示す予測範囲情報が表示装置へ送信される。そのため、表示装置は、三次元的な視野面積の変更に従って、パノラマ映像の一部を表示手段に表示させることができる。

請求項４に記載の発明によれば、視線方向を定める方位角及び仰俯角を示す予測範囲情報が表示装置へ送信される。そのため、表示装置は、三次元的な視線方向の変更に従って、パノラマ映像の一部を表示手段に表示させることができる。

請求項５に記載の発明によれば、表示範囲の適切な予測値を示す予測範囲情報を表示装置へ送信することができる。

本実施形態の通信システムＳの概要構成例を示す図である。 （Ａ）乃至（Ｃ）は、仮想スクリーンの例と、仮想スクリーンに対する表示範囲の例とを示す図である。 （Ａ）乃至（Ｃ）は、送信クライアントが生成するカメラワークデータの一例である。 送信クライアントの制御部２１におけるカメラワークデータ送信処理の例を示すフローチャートである。 受信クライアントの制御部２１の受信クライアントメイン処理の例を示すフローチャートである。 受信クライアントの制御部２１のカメラワークデータ受信処理の例を示すフローチャートである。

以下、本発明の実施形態を図面に基づいて説明する。

［１．通信システムＳの構成及び動作概要］
始めに、図１等を参照して、本実施形態の通信システムの構成及び動作概要について説明する。図１は、本実施形態の通信システムＳの概要構成例を示す図である。図１に示すように、通信システムＳは、配信サーバ１、及び複数のクライアント２を含んで構成される。クライアント２は、本発明の情報処理装置及び表示装置の一例である。配信サーバ１とクライアント２とはネットワークＮＷを介して通信可能になっている。ネットワークＮＷは、例えば、インターネット、携帯通信網、及びゲートウェイ等により構成される。ネットワークＮＷは、通信手段の一例である。

配信サーバ１は、例えばクライアント２からの要求に応じて、コンテンツをクライアント２へ送信する。コンテンツは、動画データを含む。動画データは、動画を表すデータである。動画データは、本発明の映像情報の一例である。また、コンテンツは、音声データを含んでいてもよい。コンテンツの送信は、例えばネットワークＮＷを介してストリーミング配信により行われる。これにより、クライアント２は、コンテンツを取得する。クライアント２は、取得したコンテンツを再生することにより、動画としての映像を、表示部２４ａの画面に表示させる。クライアント２は、例えば、パーソナルコンピュータ、スマートフォン、携帯電話、テレビ、テレビゲーム機等であってもよい。

コンテンツの再生によりクライアント２が映像を表示しているとき、ユーザは、擬似的なカメラワーク操作を行うことができる。カメラワークとは、撮影者がカメラを動かすことで、カメラの被写体に対する位置、カメラの被写体に対する角度、及び被写体のサイズを決める動作をいう。疑似カメラワーク操作により、ユーザは、映像の表示範囲を変更することができる。ユーザは、クライアント２に接続された操作部２５ａ又はクライアント２と通信可能な操作部２５ａを操作することにより、疑似カメラワーク操作を行う。これにより、操作部２５ａは、ユーザから、表示部２４ａの画面に表示される映像の表示範囲の変更指示を受け付ける。表示範囲の変更指示とは、表示範囲を変更するために操作部２５ａに対してユーザが操作を行うことにより、操作部２５ａから入力される指示である。表示範囲の変更は、例えば、視点位置、視線方向及び視野面積のうち少なくとも何れか１つを変更することである。三次元仮想空間において、映像を見る人物が存在すると仮定し、その人物が見える映像が画面に表示されると仮定する。視点位置は、その人物の位置である。視線方向は、その人物の視線の方向である。視野面積は、三次元仮想空間に配置された仮想スクリーン上において、その人物の視野の範囲にある領域の面積である。仮想スクリーンについては後述する。また、視野面積は、その人物の視野の範囲としてもよい。操作部２５ａは、例えば、キーボード、マウス、リモコン、タッチパネル、ゲームコントローラ、スマートフォン等であってもよい。操作部２５ａは、例えば、電子コンパス、ジャイロセンサ、加速度センサ等を備えていてもよい。スマートフォンや携帯電話等の携帯機器が操作部２５ａである場合、例えば、操作部２５ａと、パーソナルコンピュータ等であるクライアント２とが、Bluetooth（登録商標）やIrDA（Infrared Data Association）等の通信手段により通信可能になっていてもよい。

本実施形態では、仮想スクリーンを定義し、仮想スクリーンに映像全体が表示又は投影されるものとする。そして、疑似カメラワーク操作により、仮想スクリーン上において、映像の表示範囲が決定される。つまり、仮想スクリーンから、表示範囲として決定された範囲の映像が切り出され、切り出された映像がクライアント２の表示部２４ａの画面に表示される。仮想スクリーンは、例えば三次元仮想空間内に配置された仮想的なスクリーンである。仮想スクリーン全体に映像が表示されてもよいし、仮想スクリーンの一部に映像が表示されてもよい。

図２（Ａ）乃至（Ｃ）は、仮想スクリーンの例と、仮想スクリーンに対する表示範囲の例とを示す図である。図２（Ａ）の例では、仮想スクリーンとしてスクリーンＳＣ１が定義される。スクリーンＳＣ１は、長方形の平面スクリーンである。スクリーンＳＣ１上の表示範囲Ｒ１は、例えば、Ｘ座標、Ｙ座標、幅及び高さにより示される。例えば、スクリーンＳＣ１の左上の頂点をスクリーンＳＣ１の座標系における原点とする。Ｘ座標及びＹ座標は、視点位置を定める。Ｘ座標は、表示範囲Ｒ１の左上の頂点の横方向の座標であり、Ｙ座標は、表示範囲Ｒ１の左上の頂点の縦方向の座標である。例えば三次元仮想空間において、スクリーンＳＣ１から所定距離離れている点を視点と仮定してもよい。例えば、視点を通り、スクリーンＳＣ１と垂直に交わる線を、視線とする。視線とスクリーンＳＣ１とが交わる点が、表示範囲Ｒ１の中心となる。幅及び高さは、視野面積を定める。幅及び高さは、表示範囲Ｒ１の横の長さ及び縦の長さである。視線方向は、予め定められている。

図２（Ｂ）の例では、仮想スクリーンとしてスクリーンＳＣ２が定義される。スクリーンＳＣ２は、円筒形のスクリーンであり、円筒の側面に映像が表示される。スクリーンＳＣ２には、例えば円筒状のパノラマ映像が表示される。パノラマ映像は、例えば、全方位映像である。パノラマ映像は、３６０度より視野角が狭い部分方位映像であってもよい。スクリーンＳＣ２上の表示範囲Ｒ２は、例えば、方位角、横視野角、高さにより示される。方位角は、視線方向を定める。例えば、スクリーンＳＣ２の円筒の中心軸の中点を、視点とする。また、視点を、三次元仮想空間の座標系における原点とし、スクリーンＳＣ２の中心軸をＺ軸とする。Ｘ軸は、原点を通り、Ｙ軸及びＺ軸に垂直である。Ｙ軸は、原点を通り、Ｘ軸及びＺ軸に垂直である。方位角は、視点からの視線の方向を定める。視線は、例えば、Ｚ軸と垂直である。方位角は、例えば、Ｘ軸と視線とがなす角度である。横視野角及び高さは、視野面積を定める。横視野角は、視線の方向を中心とした横方向の視野の範囲を示す角度である。高さは、表示範囲Ｒ２の縦の長さである。方位角、横視野角及び高さに基づいて、三次元仮想空間における視野範囲を示す四角錐が定義される。この四角錐がビューボリュームである。実際のビューボリュームは四角錐台であるが、説明の便宜上、四角錐を用いる。ビューボリュームの頂点が視点であり、ビューボリュームの底面の中心を視線が通る。ビューボリュームの側面Ｐ２１〜Ｐ２４のうち、Ｚ軸と平行な側面Ｐ２１と側面Ｐ２２とがなす角度が横視野角である。ビューボリュームとスクリーンＳＣ２とが交わる面の縦方向の長さが、高さである。そして、ビューボリュームとスクリーンＳＣ２とが交わる面が、表示範囲Ｒ２である。視点位置は、予め定められている。

図２（Ｃ）の例では、仮想スクリーンとしてスクリーンＳＣ３が定義される。スクリーンＳＣ３は、球状のスクリーンであり、球面に映像が表示される。スクリーンＳＣ３には、例えば球状のパノラマ映像が表示される。スクリーンＳＣ３上の表示範囲Ｒ３は、例えば、方位角、仰俯角、横視野角、縦視野角により示される。方位角及び仰俯角は、視線方向を定める。三次元仮想空間において、例えば、スクリーンＳＣ３に囲まれている範囲内に、視点が位置する。例えば、スクリーンＳＣ３の球の中心を、視点とする。また、視点を、三次元仮想空間の座標系における原点とし、縦方向の座標軸をＺ軸とする。Ｘ軸は、原点を通り、Ｙ軸及びＺ軸に垂直である。Ｙ軸は、原点を通り、Ｘ軸及びＺ軸に垂直である。方位角は、例えば、ＸＺ平面と視線とがなす角度である。仰俯角は、例えば、ＸＹ平面と視線とがなす角度である。横視野角及び縦視野角は、視野面積を定める。横視野角は、視線の方向を中心とした横方向の視野の範囲を示す角度である。縦視野角は、視線の方向を中心とした縦方向の視野の範囲を示す角度である。ＸＹ平面上の線であって、原点を通り、視線と垂直に交わる線を、視線の縦回転軸とする。原点を通り、視線と縦回転軸とのそれぞれに垂直に交わる線を、視線の横回転軸とする。方位角、仰俯角、横視野角及び縦視野角に基づいて、三次元仮想空間における視野範囲を示す四角錐が定義される。この四角錐がビューボリュームである。ビューボリュームの頂点が視点であり、ビューボリュームの底面の中心を視線が通る。ビューボリュームの側面Ｐ３１〜Ｐ３４のうち、Ｚ軸と平行な側面Ｐ３１と側面Ｐ３２とがなす角度が横視野角である。側面Ｐ３３と側面Ｐ３４とがなす角度が縦視野角である。そして、ビューボリュームとスクリーンＳＣ３とが交わる面が、表示範囲Ｒ３である。視点位置は、予め定められている。

透視変換により、視点位置、視線方向及び視野面積に基づいて、仮想スクリーン上の表示範囲の三次元座標が、二次元座標に変換される。変換された二次元座標により、パノラマ映像全体のうちどの部分が表示範囲内にあるかを特定することができる。方位角及び仰俯角の少なくとも何れかが変化することにより、視線方向が変化すると、視線方向に応じて表示範囲Ｒ３が変化する。また、縦視野角および横視野角の少なくとも何れかが変化することにより、視野面積が変化すると、視野面積に応じて表示範囲Ｒ３は変化する。つまり、表示範囲Ｒ３は、視線方向および視野面積に応じた範囲となる。なお、スクリーンＳＣ３は、一般に視点を完全に覆う立体であればよく、例えば、立方体等の形状をしたスクリーンであってもよい。

スクリーンＳＣ１〜ＳＣ３のうち何れの仮想スクリーンが用いられるかは、例えば、動画データの種類に応じて、仮想スクリーンが決定されてもよい。例えば、パノラマ映像以外の映像の動画データに対しては、スクリーンＳＣ１が決定され、円筒状のパノラマ映像の動画データに対しては、スクリーンＳＣ２が決定され、球状のパノラマ映像の動画データに対しては、スクリーンＳＣ３が決定されてもよい。

通信システムＳにおいては、配信サーバ１が同一のコンテンツを複数のクライアント２に配信することにより、複数のクライアント２が、同一のコンテンツをほぼ同時に再生することができる。これにより、複数のユーザが同一のコンテンツを同時に視聴することができる。

また、同一のコンテンツを再生する複数のクライアント２のうち、一のクライアント２のユーザが撮影者役となることができる。この場合、他のクライアント２のユーザは、視聴者役になる。撮影者役のユーザは、疑似カメラワーク操作を行うことにより、映像の表示範囲を指定する。疑似カメラワーク操作により、撮影者役のユーザのクライアント２は、指定された表示範囲に従って映像を表示させるとともに、カメラワークデータを生成する。そして、撮影者役のユーザのクライアント２は、生成したカメラワークデータを視聴者役のユーザのクライアント２へ送信する。カメラワークデータは、擬似的なカメラワークに関する情報である。具体的に、カメラワークデータは、表示範囲を示す情報である。カメラワークデータは、本発明の範囲情報の一例である。カメラワークデータを受信したクライアント２は、カメラワークデータが示す表示範囲に従って映像を表示する。これにより、視聴者役のユーザのクライアント２は、撮影者役のユーザが行った疑似カメラワークに応じた表示範囲と同じ表示範囲で映像を表示することができる。そのため、複数のユーザが臨場感のある映像を共有することができる。なお、撮影者役のユーザが利用するクライアント２を、送信クライアントという。視聴者役のユーザが利用するクライアント２を、受信クライアントという。

仮想スクリーンが長方形のスクリーンＳＣ１である場合、カメラワークデータは、再生位置、Ｘ座標、Ｙ座標、幅及び高さで構成される。仮想スクリーンが円筒形のスクリーンＳＣ２である場合、カメラワークデータは、再生位置、方位角、横視野角、高さで構成される。仮想スクリーンが球形のスクリーンＳＣ３である場合、カメラワークデータは、再生位置、方位角、仰俯角、横視野角、縦視野角で構成される。再生位置は、動画データの再生開始からの時間的な位置である。映像が表示される画面のアスペクト比が決められている場合、カメラワークデータを構成する情報を減らすことができる。スクリーンＳＣ１の場合、幅及び高さのうち何れか一方と、再生位置、Ｘ座標及びＹ座標とで構成されてもよい。また、スクリーンＳＣ２の場合、横視野角及び高さの何れか一方と、再生位置及び方位角、とで構成されてもよい。また、スクリーンＳＣ３の場合、横視野角及び縦視野角のうち何れか一方と、再生位置、方位角及び仰俯角とで構成されてもよい。

送信クライアントから受信クライアントへのカメラワークデータの送信方法としては、例えば、配信サーバ１を経由する方法がある。この場合、送信クライアントは、カメラワークデータを配信サーバ１へ送信し、配信サーバ１は、受信したカメラワークデータを受信クライアントへ転送する。また、送信クライアントが直接受信クライアントへカメラワークデータを送信する方法がある。例えば、配信サーバ１が、受信クライアントのＩＰアドレス及びポート番号を送信クライアントへ送信してもよい。そして、送信クライアントは、受信したＩＰアドレス及びポート番号に基づいて、カメラワークデータを受信クライアントへ送信してもよい。また、送信クライアントは、複数の受信クライアントにマルチキャストでカメラワークデータを送信してもよい。

［２．表示範囲の予測値を示すカメラワークデータの生成］
送信クライアントがカメラワークデータを送信するとき、所定時間間隔ごとに、そのときの映像の表示範囲を示すカメラワークデータを送信する。カメラワークデータを送信する時間間隔を、送信間隔という。送信間隔は、例えば、動画データのフレーム間隔と一致してもよいし、表示部２４ａの画面のリフレッシュ間隔と一致してもよい。また、送信間隔は、フレーム間隔やリフレッシュ間隔と異なっていてもよい。フレーム間隔はフレームレートの逆数である。リフレッシュ間隔は、リフレッシュレートの逆数である。受信クライアントは、基本的には送信間隔と同じ時間間隔でカメラワークデータを受信する。しかしながら、一部のカメラワークが受信クライアントに到達するまでの時間が遅延する可能性がある。この場合、カメラワークデータを受信する時間間隔にムラが生じる。また、一部のカメラワークデータが受信クライアントに到達しないことにより、カメラワークデータに欠けが生じる可能性がある。例えば、ＵＤＰ（User Datagram Protocol）を用いてカメラワークデータが送信される場合である。或る再生位置の映像を表示させなければならないときに、その再生位置に対応するカメラワークデータを受信クライアントが受信していないと、受信クライアントは、表示範囲を決定することができない。この場合、受信クライアントは、例えば、これまでに受信されているカメラワークデータに従って表示範囲を決定したり、カメラワークデータを受信するまで、コンテンツの再生を一時停止したりするなどの対応を行うことが考えられる。しかしながら、これらの対応では、疑似カメラワークや動画再生が不自然になる。疑似カメラワークや動画再生を自然にするためには、例えば、受信クライアントは、これまでに受信されているカメラワークデータに基づいて、表示範囲を推測したり補間したりする必要がある。

そこで、送信クライアントは、操作部２５ａにより表示範囲の変更指示が受け付けられたとき、表示範囲の予測値を示すカメラワークデータを生成する。そして制御部２１は、生成したカメラワークデータを受信クライアントへ送信する。表示範囲の予測値を示すカメラワークデータは、本発明の予測範囲情報の一例である。例えば、ユーザが操作部２５ａを操作することによって操作部２５ａが表示範囲の変更指示を受け付けたとき、現時点から或る程度先の時点までの表示範囲が、現時点で計算可能となる場合がある。送信クライアントは、例えば、現時点の表示範囲と、変更指示とに基づいて、現時点から、表示範囲が計算可能な最も未来の時点又は所定時間後までの間における送信間隔ごとの表示範囲を示すカメラワークデータを計算することにより、複数のカメラワークデータを生成する。そして、送信クライアントは、生成された複数のワークデータのうち、例えば、現時点の表示範囲を示すワークデータから、再生位置が現時点の再生位置に近い順に所定数のカメラワークデータを、受信クライアントへ一度に送信する。このとき、送信クライアントは、例えば、少なくとも２以上のカメラワークデータを送信する。送信される複数のワークデータのうち、現時点の表示範囲を示すカメラワークデータ以外のカメラワークデータは、表示範囲の予測値を示すカメラワークデータである。

クライアント２が備える制御部２１は、操作部２５ａにより受け付けられた表示範囲の変更指示と、表示範囲を変更するための所定のアルゴリズムとに基づいて、映像の表示範囲を決定する。操作部２５ａにより変更指示が受け付けられると、その後ユーザが何も操作を行わなくとも、一度受け付けられた変更指示に従って表示範囲の変動がしばらくの間持続するようなアルゴリズムがある。このようなアルゴリズムを表示範囲変動持続アルゴリズムという。表示範囲変動持続アルゴリズムでは、変更指示が受け付けられた時点で、その後の表示範囲の変動が継続する間における表示範囲が、予め決定されていることになる。そこで、制御部２１は、この表示範囲変動持続アルゴリズムを用いて、現在よりも後における表示範囲を示すカメラワークデータを計算する。

表示範囲変動持続アルゴリズムを適用可能な操作として、例えば、フリック操作がある。フリック操作は、例えばタッチパネルで採用される。フリック操作は、例えば、ユーザがタッチパネル上で指やペン等の接触物を素早くスライドさせて、接触物をタッチパネルから離す操作である。フリック操作がされた場合、例えば、スライドの方向とは逆方向に、スライドの速度に応じて表示範囲が移動する。その後、表示範囲の移動速度は徐々に遅くなり、表示範囲の移動が停止する。この場合、フリック操作が行われた時点で、表示範囲の移動が停止するまでの間における送信間隔ごとの表示範囲が決まる。従って、制御部２１は、表示範囲変動持続アルゴリズムを用いて、未来の表示範囲を示すカメラワークデータを計算することができる。

表示範囲変動持続アルゴリズムを用いる方法は、一般的な表示範囲の予測、推定、補間等の方法とは異なる。これらの方法では、例えば、現時点までの表示範囲の履歴等に基づいて、予測等を行う。しかしながら、採用されるアルゴリズムによって、予測等された表示範囲が異なる。そのため、送信クライアントが表示部２４ａに映像を表示させるために実際に決定する表示範囲と異なる表示範囲が予測される可能性がある。これに対し、表示範囲変動持続アルゴリズムを用いる方法では、例えば、現時点の表示範囲の状態、操作部２５ａにより受け付けられた変更指示の内容等に基づいて、未来の表示範囲が決まる。表示範囲の状態としては、例えば、仮想スクリーンにおける表示範囲の位置、大きさ等がある。また、表示範囲が変動中である場合、表示範囲の状態として、例えば、変動方向、変動速度等がある。表示範囲変動持続アルゴリズムは、送信クライアントが表示部２４ａの画面における映像の表示範囲を決定するためのアルゴリズムである。従って、送信クライアントが表示部２４ａに映像を表示させるために実際に決定する表示範囲と同じ表示範囲を予測することができる。表示範囲変動持続アルゴリズムと同じアルゴリズムを用いることにより、未来の表示範囲が一意に決まる。そのため、制御部２１は、表示範囲の適切な予測値を示すカメラワークデータを生成することができる。

現在より後の表示範囲を計算により予め決定することができるとしても、決定された表示範囲が有効である期間は、ユーザが更に操作部２５ａに対して操作を行うまでの期間である。例えば、フリック操作により表示範囲が移動している間に、ユーザがタッチパネルに接触物を接触させる。すると、表示範囲の移動が停止する。このように、操作部２５ａにより新たな変更指示が受け付けられると、予め決定された表示範囲のうち、新たな変更指示が受け付けられた時点以降の表示範囲は無効となる。従って、変更指示が受け付けられた時点で計算可能な未来の表示範囲を示すカメラワークデータは、あくまでも予測値である。

表示範囲変動持続アルゴリズムは、例えば、操作部２５ａに対する操作方法に応じて決まったり、特定の操作方法に対してのみ適用されたりする。つまり、操作部２５ａにより受け付けられた変更指示に応じて表示範囲変動持続アルゴリズムが定められる。制御部２１は、操作部２５ａにより受け付けられる変更指示に基づいて、表示範囲を変更するためのパラメータを取得する。そして、制御部２１は、例えば、表示範囲変動持続アルゴリズムと、現在の表示範囲を示すカメラワークデータと、パラメータと、予め設定された設定値とに基づいて、表示範囲の予測値を示すカメラワークデータを生成する。

上述したように、表示範囲変動持続アルゴリズムを適用可能な操作として、例えば、フリック操作がある。フリック操作が行われた場合、表示範囲が移動する。仮想スクリーンが長方形のスクリーンＳＣ１である場合、表示範囲の移動は、例えば、視点がスクリーンＳＣ１に対して平行に移動することである。つまり、表示範囲の移動は、表示範囲Ｒ１のＸ座標及びＹ座標の少なくとも何れかの変動である。仮想スクリーンが円筒形のスクリーンＳＣ２又は球形のスクリーンＳＣ３である場合、表示範囲の移動は、視点を中心とした視線の回転運動である。つまり、スクリーンＳＣ２の場合、表示範囲の移動は、方位角の変動である。スクリーンＳＣ３の場合、表示範囲の移動は、方位角及び仰俯角の少なくとも何れかの変動である。表示範囲の移動に関するＸ座標、Ｙ座標、方位角及び仰俯角を総称して、アングル情報という。

フリック操作により、制御部２１は、表示範囲の移動方向及び初速を取得する。具体的に、タッチパネルは、タッチパネル上の接触位置の座標を検出する。接触位置とは、接触物がタッチパネルに接触している位置である。制御部２１は、タッチパネルから所定時間間隔ごとに接触位置の座標を取得する。制御部２１は、取得した座標に基づいて、接触位置の移動方向及び移動速度を計算する。そして、制御部２１は、接触位置の移動方向の逆方向を表示範囲の移動方向とし、接触位置の移動速度に応じて、表示範囲の初速を決定する。例えば、制御部２１は、接触位置の移動速度に比例して表示範囲の初速を大きくしてもよい。表示範囲の加速度は、例えば、予め設定されている。この加速度は、マイナスの値である。制御部２１は、現在の表示範囲を示すカメラワークデータ、移動方向、初速、及び加速度に基づいて、送信間隔ごとの仮想スクリーンにおけるカメラワークデータを計算する。表示範囲の移動においては、カメラワークデータを構成する情報のうち計算が必要な情報はアングル情報である。アングル情報及び再生位置以外の情報は、現在の表示範囲を示すカメラワークデータからコピーされる。制御部２１は、この計算を、表示範囲の移動速度が０になるまで行う。

表示範囲変動持続アルゴリズムを適用可能な操作として、例えば、電子コンパス、ジャイロセンサ、加速度センサを利用した操作がある。例えば、ユーザが操作部２５ａを、操作部２５ａが静止した状態から所定角度だけ傾け又は回転させる。このような操作が行われた場合、表示範囲は、例えば、操作部２５ａが傾けられた角度又は回転された角度に応じた距離又は角度だけ移動する。この操作により、制御部２１は、表示範囲の移動方向及び移動量をパラメータとして取得する。具体的に、制御部２１は、センサからの信号に基づいて、操作部２５ａの傾き角度や傾き方向、あるいは、回転角度、回転方向を計算する。このとき、手ぶれ等の影響により、操作部２５ａが滑らかに傾けられなかったり回転させられなかったりする場合がある。そこで、制御部２１は、表示範囲が滑らかに移動するように、制御する。例えば、制御部２１は、操作部２５ａに対する操作に応じて直ぐには表示範囲を移動させず、表示範囲は加速して移動した後、減速して停止するように、表示範囲を移動させる。制御部２１は、傾き角度及び傾き方向、または、回転角度及び回転方向に基づいて、表示範囲の移動方向及び移動量を計算する。仮想スクリーンが長方形のスクリーンＳＣ１である場合、移動量は、表示範囲の移動距離である。仮想スクリーンが円筒形のスクリーンＳＣ２又は球形のスクリーンＳＣ３である場合、移動量は、視点を中心とした視線の回転角度である。制御部２１は、現在の表示範囲を示すカメラワークデータ、移動方向、移動量、及び予め設定された加速度に基づいて、移動後の表示範囲を示すカメラワークデータを計算する。例えば、表示範囲が移動量の半分まで移動するまでの表示範囲について、所定の加速度で表示範囲の移動速度が速くなるように、制御部２１は、送信間隔ごとの表示範囲を示すカメラワークデータを計算する。その後、表示範囲が移動量までの表示範囲について、所定の加速度で表示範囲の移動速度が遅くなるように、制御部２１は、送信間隔ごとの表示範囲を示すカメラワークデータを計算する。

表示範囲変動持続アルゴリズムを適用可能な操作として、例えば、映像が表示された画面に対してマウスでマウスカーソルを動かし、クリック操作により画面の任意の位置を指定することにより、表示範囲の移動先を指定する方法がある。この操作が行われた場合、指定された位置が表示範囲の中心になるように表示範囲が移動する。このとき、表示範囲は加速して移動した後、減速して停止する。この操作により、制御部２１は、移動先の表示範囲を示すカメラワークデータを取得する。具体的に、制御部２１は、マウスから送信される信号に基づいて、画面においてマウスカーソルが位置する移動先の座標を特定する。そして、制御部２１は、画面の中心の座標と移動先の座標とに基づいて、移動先の表示範囲を示すカメラワークデータを計算する。そして、制御部２１は、現在の表示範囲を示すカメラワークデータ、及び移動先の表示範囲を示すカメラワークデータに基づいて、表示範囲の移動方向及び移動量を計算する。送信間隔ごとのカメラワークデータの計算方法は、例えば、電子コンパス、ジャイロセンサ、加速度センサを利用した操作の場合と同様である。制御部２１は、現在の表示範囲から移動先の表示範囲まで、表示範囲が等速度で移動するように、カメラワークデータを生成してもよい。移動先を指定する操作では、移動先が表示範囲の中心の目標地点とされ、表示範囲の中心が目標地点まで、所定のアルゴリズムに基づく挙動で移動する。このような移動は、操舵行動の一種といえる。操舵行動に基づくアルゴリズムは、表示範囲変動持続アルゴリズムとして採用することができる。

表示範囲変動持続アルゴリズムを適用可能な操作として、画面上で表示範囲の移動方向を指定する操作がある。例えば、ユーザがマウスボタンを押しながらマウスカーソルを動かして、マウスボタンを押し始めたときのマウスカーソルの位置からマウスカーソルが移動する方向を、表示範囲の移動方向として指定する。この場合、表示範囲は加速して移動し、移動速度が所定の速度となると、表示範囲は等速で移動する。ユーザがマウスポインタを更に動かさない限り、表示範囲は等速で移動し続ける。制御部２１は、マウスボタンを押し始めたときの画面におけるマウスカーソルの座標と画面におけるマウスカーソルの座標とに基づいて、表示範囲の移動方向を計算する。そして、制御部２１は、現在の表示範囲を示すカメラワークデータと、移動方向と、予め設定された加速度及び最高速度に基づいて、送信間隔ごとのカメラワークデータを計算する。このとき、制御部２１は、表示範囲が予め設定された加速度で加速し、移動速度が予め設定された最高速度に達すると、等速で移動するように計算を行う。ここで、制御部２１は、マウスボタンを押し始めたときのマウスカーソルの座標とマウスカーソルの座標との距離が長いほど、最高速度を高くしたり加速度を大きくしたりしてもよい。なお、移動方向を指定する操作の例として、操作部２５ａに設けられたボタンをユーザが押すことにより、表示範囲を移動させる操作がある。また、例えば、画面に表示されたボタンをユーザがマウス等で選択することにより、表示範囲を移動させる操作がある。

表示範囲を拡大したり縮小させたりする操作の例として、例えば、操作部２５ａに設けられたボタンや画面に表示されたボタン等をユーザが押すことにより、表示範囲を拡大したり縮小させたりする操作がある。この操作の場合、表示範囲の単位時間あたり変動量が大きくなりながら表示範囲が拡大又は縮小する変動が行われ、その後、単位時間あたり変動量が一定となって、表示範囲が変動する。ユーザがボタンを押すことをやめる操作を行わない限り、表示範囲が変動し、表示範囲の大きさが最大又は最少となった時点で、変動は停止する。仮想スクリーンが長方形のスクリーンＳＣ１である場合、表示範囲の拡大・縮小は、表示範囲Ｒ１の幅及び高さの変動である。仮想スクリーンが円筒形のスクリーンＳＣ２である場合、表示範囲の拡大・縮小は、横視野角及び高さの変動である。仮想スクリーンが円筒形のスクリーンＳＣ３である場合、表示範囲の拡大・縮小は、縦視野角及び横視野角の変動である。幅、高さ、横視野角、縦視野角を総称して、ズーム情報という。この操作の場合、制御部２１は、拡大及び縮小の何れであるかをパラメータとして取得する。具体的に、制御部２１は、操作されたボタン等に基づいて、表示範囲を拡大するか縮小させるかを判定する。制御部２１は、現在の表示範囲を示すカメラワークデータと、予め設定された単位時間あたりの増加度、単位時間あたりの変動量の最大値に基づいて、送信時間間隔ごとのカメラワークデータを計算する。このとき、制御部２１は、予め設定された単位時間あたりの増加度で、表示範囲の単位時間あたりの変動量が大きくなるようにカメラワークデータを計算する。単位時間あたりの変動量が最大値に達した後は、制御部２１は、一定の変動量で表示範囲が変動するようにカメラワークデータを計算する。表示範囲の拡大・縮小においては、カメラワークデータを構成する情報のうち計算が必要な情報はズーム情報である。ズーム情報及び再生位置以外の情報は、現在の表示範囲を示すカメラワークデータからコピーされる。

なお、上述した操作は、あくまでも例示に過ぎない。未来における表示範囲が計算可能な操作であれば、如何なる操作であってもよい。

図３（Ａ）乃至図３（Ｃ）は、送信クライアントが生成するカメラワークデータの一例である。図３（Ａ）乃至図３（Ｃ）の例は、送信間隔が１６．７ミリ秒である場合の例である。１６．７ミリ秒は、６０ｆｐｓに対応する。図３（Ａ）は、仮想スクリーンが長方形のスクリーンＳＣ１である場合の例を示す。図３（Ｂ）は、仮想スクリーンが円筒形のスクリーンＳＣ２である場合の例を示す。図３（Ｃ）は、仮想スクリーンが球形のスクリーンＳＣ３である場合の例を示す。

例えば、再生位置が０ミリ秒であるときに、ユーザが操作部２５ａを操作したとする。すると、送信クライアントは、操作部２５ａにより受け付けられた変更指示に基づいて、０ミリ秒、１６ミリ秒、３３ミリ秒、４９ミリ秒等のそれぞれの再生位置に対応するカメラワークデータを生成する。そして、送信クライアントは、例えば、０ミリ秒、１６ミリ秒及び３３ミリ秒のそれぞれに対応するカメラワークデータを受信クライアントへ送信する。なお、一度に送信されるカメラワークデータの数は任意である。１６ミリ秒が経過すると、送信クライアントは、１６ミリ秒、３３ミリ秒及び４９ミリ秒のそれぞれに対応するカメラワークデータを受信クライアントへ送信する。更に１６ミリ秒が経過すると、送信クライアントは、３３ミリ秒、４９ミリ秒及び６５ミリ秒のそれぞれに対応するカメラワークデータを受信クライアントへ送信する。ユーザが操作部２５ａを更に操作した場合、送信クライアントは、生成したカメラワークデータを削除する。そして、送信クライアントは、操作部２５ａにより受け付けられた新たな変更指示に基づいて、カメラワークデータを生成する。

複数のカメラワークデータを受信した受信クライアントは、受信した複数のカメラワークデータを記憶する。その後更に、受信クライアントが複数のカメラワークデータを受信したとする。この場合、受信クライアントは、これまで記憶している古いカメラワークデータを新しいカメラワークデータで上書きする。これにより、受信クライアントは、撮影者としてのユーザによる最新の疑似カメラワークを反映させるようにしている。

このようにして、受信クライアントは、送信クライアントから未来の表示範囲としての予測値を示すカメラワークデータを受信する。そのため、その後、カメラワークデータの受信の遅延が発生したり、カメラワークデータの欠けが生じたとしても、既に受信してあるカメラワークデータに従って、表示範囲を決定することができる。受信クライアントは、表示範囲を推定したり補間したりしなくてもよい。例えば、再生位置が３３ミリ秒であるときに、受信クライアントは、３３ミリ秒、４９ミリ秒及び６５ミリ秒のそれぞれに対応するカメラワークデータを受信する。受信クライアントは、３３ミリ秒に対応するカメラワークデータに従って、映像の表示範囲を決定する。再生位置が４９ミリ秒であるときに、受信クライアントは、新たなカメラワークデータを受信することができなかったとする。しかしながら、受信クライアントは、既に受信してあるカメラワークデータのうち、４９ミリ秒に対応するカメラワークデータに従って、映像の表示範囲を決定することができる。

なお、これまでは、送信クライアントがネットワークＮＷを介して受信クライアントへカメラワークデータを送信するものとして説明していた。しかしながら、例えば、スマートフォンや携帯電話機等を、疑似カメラワーク操作を行うためのリモコンとし、リモコンがカメラワークデータを生成してもよい。そして、リモコンが、カメラワークデータをＰＡＮ（Personal Area Network）を介してクライアント２へ送信してもよい。その理由は、このような態様であっても、カメラワークデータの遅延や欠けが生じる可能性があるからである。ＰＡＮにおける通信には、例えば、BluetoothやIrDA等の通信手段が用いられてもよい。この態様の場合、リモコンが送信クライアントであり、リモコンからカメラワークデータを受信するクライアント２が受信クライアントである。送信クライアントとしてのリモコンは、リモコンの画面に動画データに基づく映像を表示する必要はない。

［３．各装置の構成］
［３−１．配信サーバ１の構成］
配信サーバ１は、図１に示すように、記憶装置１１を備える。記憶装置１１は、例えばハードディスクドライブ （ＨＤＤ）により構成される。記憶装置１１には、動画データ記憶領域１１ａが設けられている。動画データ記憶領域１１ａには、１つ以上の動画データが記憶される。動画データは、コンテンツＩＤに対応付けて記憶される。コンテンツＩＤは、コンテンツの識別情報である。動画データは複数の画像フレームにより構成されている。画像フレームは、静止画像の画像データである。各画像フレームは、動画データにおける画像フレームの再生位置と対応付けられている。各画像フレームは、例えば、複数の分割画像フレームに分割されている。各分割画像フレームには、分割番号が割り当てられている。例えば、画像フレームが縦１０個及び横１０個の計１００個の分割画像フレームに分割されているとする。この場合、各分割画像フレームには、０〜１００の何れかの分割番号が割り当てられる。分割番号により、仮想スクリーン上における分割画像フレームの表示位置の座標を特定することができる。なお、画像フレームあたりの分割画像フレームの数は任意である。

また、記憶装置１１には、例えば、クライアント対応情報が記憶される。クライアント対応情報は、送信クライアントとしてのクライアント２と、受信クライアントとしてのクライアント２との対応関係を示す情報である。クライアント情報は、例えば、現在疑似カメラワーク操作が行われている送信クライアントごとに記憶される。クライアント対応情報は、例えば、カメラワークＩＤ、コンテンツＩＤ、送信クライアントのＩＰアドレス及びポート番号、受信クライアントのＩＰアドレス及びポート番号を含む。カメラワークＩＤは、クライアント対応情報の識別情報である。

配信サーバ１は、例えばクライアント２からのコンテンツの要求に応じて、コンテンツに対応する動画データをクライアント２へ送信する。動画データの送信は、例えばネットワークＮＷを介してストリーミング配信により行われる。この場合、配信サーバ１は、動画データ記憶領域１１ａに格納された動画データに基づき動画データブロックを送信する。動画データブロックには、１又は複数の画像フレームの分割画像フレームが含まれる。

［３−２．クライアント２の構成］
クライアント２は、図１に示すように、制御部２１、記憶部２２、ビデオＲＡＭ２３、映像制御部２４、操作処理部２５、音声制御部２６、インターフェース部２７、及びバス２８等を備えて構成される。これらの構成要素は、バス２８に接続されている。映像制御部２４には、ディスプレイを備える表示部２４ａが接続される。表示部２４ａは、本発明の表示手段の一例である。操作処理部２５には、操作部２５ａが接続される。操作部２５ａは、本発明の受付手段の一例である。制御部２１は、ユーザによる操作部２５ａからの操作指示を、操作処理部２５を介して受け付ける。ユーザは、操作部２５ａを用いて、上述した疑似カメラワーク操作を行うことができる。音声制御部２６には、スピーカ２６ａが接続される。インターフェース部２７は、ネットワークＮＷに接続される。

制御部２１は、コンピュータとしてのＣＰＵ、ＲＯＭ、及びＲＡＭ等により構成される。制御部２１は、タイマー機能を備える。制御部２１は、本発明の生成手段、送信手段、取得手段、受信手段及び表示制御手段の一例である。記憶部２２は、例えば、例えばハードディスクドライブ（ＨＤＤ）により構成される。記憶部２２には、ＯＳ（Operating System）、プレイヤーソフトウェア等が記憶されている。プレイヤーソフトウェアは、コンテンツを再生するためのプログラムである。また、プレイヤーソフトウェアは、ユーザが疑似カメラワーク操作を行うことにより、再生中のコンテンツの映像の表示範囲を変更するためのプログラムである。プレイヤーソフトウェアには、本発明のプログラムが含まれる。なお、プレイヤーソフトウェアは、例えば、ネットワークＮＷに接続された所定のサーバからダウンロードされるようにしてもよい。或いは、プレイヤーソフトウェアは、例えば、記録媒体に記録されて記録媒体のドライブを介して読み込まれるようにしてもよい。

制御部２１は、プレイヤーソフトウェアを実行することでコンテンツを再生するプレイヤーとして機能する。制御部２１はプレイヤーの機能により、配信サーバ１からストリーミング配信された動画データブロックを順次取得し、動画データブロックに基づいてコンテンツを再生させる。より具体的には、制御部２１におけるＲＡＭにはバッファメモリが設けられている。バッファメモリには、配信サーバ１からストリーミング配信された動画データブロックが一時的に保持される。制御部２１は、バッファメモリから動画データを再生してビデオＲＡＭ２３へ出力する。ビデオＲＡＭ２３にはフレームバッファが設けられている。フレームバッファには再生された動画データの画像フレームが書き込まれる。映像制御部２４は、制御部２１からの制御信号に従って、フレームバッファに書き込まれた画像フレームを、表示部２４ａにおけるディスプレイの画面に描画することで表示させる。つまり、制御部２１は、配信サーバ１から取得された動画データを構成する画像フレームに基づいて、動画を表示させる。

なお、送信クライアントがリモコンである場合、リモコンは、図３に示す構成と同様の構成を備えてもよい。リモコンがスマートフォン等の携帯機器である場合、リモコンは、表示部２４ａ、操作部２５ａ及びスピーカ２６ａを備える。

［４．通信システムＳの動作］
次に、図４乃至図６等を参照して、通信システムＳの動作について説明する。図４は、送信クライアントの制御部２１におけるカメラワークデータ送信処理の例を示すフローチャートである。例えば、ユーザは、操作部２５ａを操作して、疑似カメラワーク操作の開始を指示する。これにより、制御部２１は、カメラワークデータ送信処理を開始する。このとき、制御部２１は、現在の再生位置を、例えば０に設定して、ＲＡＭに記憶させる。また、制御部２１は、送信カメラワークデータリストを初期化する。送信カメラワークデータリストは、受信クライアントへ送信されるカメラワークデータのリストである。

図４に示すように、制御部２１は、操作部２５ａからの操作指示に基づいて、ユーザが疑似カメラワーク操作の終了を指示したか否かを判定する（ステップＳ１）。このとき、制御部２１は、ユーザが疑似カメラワーク操作の終了を指示していないと判定した場合には（ステップＳ１：ＮＯ）、ステップＳ２に進む。ステップＳ２において、制御部２１は、疑似カメラワーク操作があったか否かを判定する。つまり、制御部２１は、操作部２５ａから、操作指示として、表示範囲の変更指示が受け付けられたか否かを判定する。このとき、制御部２１は、疑似カメラワーク操作があったと判定した場合には（ステップＳ２：ＹＥＳ）、ステップＳ３に進む。一方、制御部２１は、疑似カメラワーク操作がなかったと判定した場合には（ステップＳ２：ＮＯ）、ステップＳ５に進む。

ステップＳ３において、制御部２１は、送信カメラワークデータリストを空にする。つまり、制御部２１は、送信カメラワークデータリストに保存されているカメラワークデータを全て削除する。

次いで、制御部２１は、操作部２５ａにより受け付けられた変更指示に基づいて、現在の再生位置に対応する表示範囲を示すカメラワークデータと、未来の再生位置に対応する表示範囲の予測値を示すカメラワークデータとを生成する（ステップＳ４）。予測値を示すカメラワークデータを生成するとき、制御部２１は、表示範囲を計算可能な再生位置の範囲内で、送信間隔が経過するごとのカメラワークデータを生成する。未来の再生位置に対応する表示範囲を示すカメラワークデータの計算方法については既に説明しているので、カメラワークデータの生成方法の詳細な説明を省略する。制御部２１は、生成したカメラワークデータを送信カメラワークリストに保存する。次いで、制御部２１は、ステップＳ５に進む。

ステップＳ５において、制御部２１は、送信カメラワークデータリストから、現在の再生位置よりも小さい値の再生位置が設定されているカメラワークデータを削除する（ステップＳ５）。次いで、制御部２１は、送信カメラワークリストから空であるか否かを判定する（ステップＳ６）。このとき、制御部２１は、送信カメラワークリストから空であると判定した場合には（ステップＳ６：ＹＥＳ）、ステップＳ８に進む。一方、制御部２１は、送信カメラワークリストが空ではないと判定した場合には（ステップＳ６：ＮＯ）、ステップＳ７に進む。

ステップＳ７において、制御部２１は、送信カメラワークリストに保存されているカメラワークデータのうち、現在の再生位置に対応するカメラワークデータから、所定時間後の再生位置に対応するカメラワークデータまで、複数のカメラワークデータリストを取得する。そして、制御部２１は、取得した複数のカメラワークデータリストを受信クライアントへ送信する。次いで、制御部２１は、ステップＳ８に進む。送信クライアントがカメラワークデータリストを、配信サーバ１を経由して受信クライアントへ送信する場合、送信クライアントは、カメラワークデータリストを配信サーバ１へ送信する。配信サーバ１は、カメラワークデータリストのパケットのヘッダから、送信クライアントのＩＰアドレス及びポート番号取得する。配信サーバ１は、送信クライアントのＩＰアドレス及びポート番号で、クライアント対応情報を検索する。そして、配信サーバ１は、検索したクライアント対応情報に登録された受信クライアントのＩＰアドレス及びポート番号に基づいて、カメラワークデータを受信クライアントへ送信する。次いで、制御部２１は、ステップＳ８に進む。

ステップＳ８において、制御部２１は、現在の再生位置に送信間隔を加算する。そして、制御部２１は、カメラワークデータ送信処理が開始されてから経過する時間が、現在の再生位置が示す時間になるまで待機する。つまり、制御部２１は、カメラワークデータの次の送信タイミングになるまで待機する。次いで、制御部２１は、ステップＳ１に進む。
ステップＳ１において、制御部２１は、ユーザが疑似カメラワーク操作の終了を指示したと判定した場合には（ステップＳ１：ＹＥＳ）、カメラワークデータ送信処理を終了させる。

図５は、受信クライアントの制御部２１の受信クライアントメイン処理の例を示すフローチャートである。受信クライアントがネットワークＮＷを介してカメラワークデータを受信する場合、制御部２１は、例えば、配信サーバ１からクライアント対応情報をダウンロードする。そして、制御部２１は、クライアント対応情報に基づいて、現在疑似カメラワーク操作が行われている他のクライアント２及びコンテンツの組み合わせの一覧をディスプレイに表示する。ユーザは、一覧の中から所望のクライアント２及びコンテンツの組み合わせを選択する。すると、制御部２１は、受信クライアントメイン処理を開始する。受信クライアントが送信クライアントとしてのリモコンからカメラワークデータを受信する場合、制御部２１は、コンテンツの一覧をディスプレイに表示する。ユーザは、一覧の中から所望のコンテンツを選択する。すると、制御部２１は、受信クライアントメイン処理を開始する。

図５に示すように、制御部２１は、要求用カメラワークデータリストを初期化する（ステップＳ２１）。要求用カメラワークデータリストは、コンテンツを要求するために用いられるカメラワークデータのリストである。次いで、制御部２１は、受信クライアントメイン処理と並行して、カメラワークデータ受信処理を開始させる（ステップＳ２２）。

図６は、受信クライアントの制御部２１のカメラワークデータ受信処理の例を示すフローチャートである。図６に示すように、制御部２１は、カメラワークデータを受信するための初期化を行う（ステップＳ４１）。受信クライアントがネットワークＮＷを介してカメラワークデータを受信する場合、例えば、制御部２１は、ユーザにより選択されたクライアント２及びコンテンツの組み合わせに対応するクライアント対応情報から、カメラワークＩＤを取得する。そして、制御部２１は、カメラワークＩＤを含む登録要求を配信サーバ１へ送信する。配信サーバ１は、登録要求のパケットのヘッダから、受信クライアントのＩＰアドレス及びポート番号を取得する。また、配信サーバ１は、登録要求に含まれるカメラワークＩＤで、クライアント対応情報を検索する。そして、配信サーバ１は、検索されたクライアント対応情報に、受信クライアントのＩＰアドレス及びポート番号を追加する。受信クライアントが送信クライアントから直接カメラワークデータを受信する場合、例えば、制御部２１は、選択された組み合わせに対応するクライアント対応情報から、送信クライアントのＩＰアドレス及びポート番号を取得する。そして、制御部２１は、取得したＩＰアドレス及びポート番号に基づいて、送信クライアントへ登録要求を送信する。送信クライアントは、受信した登録要求のパケットのヘッダに格納された受信クライアントのＩＰアドレス及びポート番号をＲＡＭに保持する。その後送信クライアントは、保持したＩＰアドレス及びポート番号に基づいて、受信クライアントへカメラワークデータを送信することになる。受信クライアントが送信クライアントとしてのリモコンからカメラワークデータを受信する場合、例えば、制御部２１は、BluetoothやIrDA等による送信クライアントとの接続を確立する。

次いで、制御部２１は、受信カメラワークデータリストを初期化する（ステップＳ４２）。受信カメラワークデータリストは、受信されたカメラワークデータのリストである。次いで、制御部２１は、操作部２５ａからの操作指示に基づいて、ユーザがコンテンツの再生の終了を指示したか否かを判定する（ステップＳ４３）。このとき、制御部２１は、ユーザがコンテンツの再生の終了を指示していないと判定した場合には（ステップＳ４３：ＮＯ）、ステップＳ４４に進む。ステップＳ４４において、制御部２１は、送信クライアントからのカメラワークデータの受信があったか否かを判定する。このとき、制御部２１は、送信クライアントからカメラワークデータを受信がなかったと判定した場合には（ステップＳ４４：ＮＯ）、ステップＳ４３に進む。一方、制御部２１は、送信クライアントからのカメラワークデータの受信があった判定した場合には（ステップＳ４４：ＹＥＳ）、ステップＳ４５に進む。

ステップＳ４５において、制御部２１は、受信した複数のカメラワークデータのうち、最も小さい再生位置が設定されたカメラワークデータから、再生位置を、再生位置Ｐｍｉｎとして取得する。次いで、制御部２１は、受信カメラワークリストから、Ｐｍｉｎ以上の再生位置が設定されたカメラワークデータを削除する（ステップＳ４６）。次いで、制御部２１は、受信した複数のカメラワークデータを、再生位置が小さい順に、受信カメラワークリストの末尾に追加する（ステップＳ４７）。次いで、制御部２１は、ステップＳ４３に進む。ステップＳ４３において、制御部２１は、ユーザがコンテンツの再生の終了を指示したと判定した場合には（ステップＳ４３：ＹＥＳ）、カメラワークデータ受信処理を終了させる。

図５のステップＳ２２において、カメラワークデータ受信処理が開始されると、制御部２１は、要求するコンテンツの再生位置ｐを０に設定する（ステップＳ２３）。次いで、制御部２１は、操作部２５ａからの操作指示に基づいて、ユーザがコンテンツの再生の終了を指示したか否かを判定する（ステップＳ２４）。このとき、制御部２１は、ユーザがコンテンツの再生の終了を指示していないと判定した場合には（ステップＳ２４：ＮＯ）、ステップＳ２５に進む。ステップＳ２５において、制御部２１は、受信カメラワークデータリストに、ｐ以下の再生位置が設定されたカメラワークデータがあるか否かを判定する。このとき、制御部２１は、ｐ以下の再生位置が設定されたカメラワークデータがあると判定した場合には（ステップＳ２５：ＹＥＳ）、ステップＳ２６に進む。一方、制御部２１は、ｐ以下の再生位置が設定されたカメラワークデータがないと判定した場合には（ステップＳ２５：ＮＯ）、ステップＳ２７に進む。

ステップＳ２６において、制御部２１は、受信カメラワークデータリストに保存されているｐ以下の再生位置が設定されたカメラワークデータのうち、ｐに最も近い再生位置が設定されたカメラワークデータを、要求用カメラワークデータとして設定する。つまり、再生位置ｐが設定されたカメラワークデータがある場合、制御部２１は、このカメラワークデータを要求用カメラワークデータとして設定する。つまり、制御部２１は、現在の再生位置に対応するカメラワークデータを用いて動画データブロックを要求する。一方、再生位置ｐが設定されたカメラワークデータがない場合、古い再生位置に対応するカメラワークデータを用いて動画データブロックを要求する。その理由を説明する。例えば、送信クライアントにおいてユーザが疑似カメラワーク操作を行うと、或る程度の時間、表示範囲は変動し続けるが、その間ユーザが新たな疑似カメラワーク操作を行わないと、表示範囲の変動は止まる。この場合、送信クライアントは、ユーザが疑似カメラワーク操作を行ったときの再生位置から、表示範囲の変動が止まるまでの再生位置に対応するカメラワークデータを生成する。その後、ユーザが新たな疑似カメラワーク操作を行わないと、送信クライアントは、新たなカメラワークデータを生成しない。現在の再生位置が、表示範囲の変動が止まったときの再生位置まで進み、送信クライアントが、表示範囲の変動が止まったときの再生位置に対応するカメラワークデータを送信すると、送信カメラワークデータリストが空になる。そのため、この後、送信クライアントはカメラワークデータを送信しない。この場合、ｐに最も近い再生位置が設定されたカメラワークデータが、表示範囲の変動が止まったときの再生位置に対応するカメラワークデータである。つまり、ｐに最も近い再生位置が設定されたカメラワークデータが、現在の表示範囲を示すカメラワークデータである。また例えば、送信クライアントから送信されたカメラワークデータの受信クライアントへの到達が遅延したり、カメラワークデータが受信クライアントに到達しなかったりする場合がある。この場合、受信クライアントは、現在の表示範囲を示すカメラワークデータを取得することができない場合がある。そのため、受信クライアントは、極力新しい再生位置に対応するカメラワークデータを用いる。制御部２１は、ステップＳ２６を終えると、ステップＳ２７に進む。

ステップＳ２７において、制御部２１は、要求カメラワークデータに基づいて、配信サーバ１に動画データブロックを要求する。具体的に、制御部２１は、要求カメラワークデータに基づいて、仮想スクリーン上における表示範囲の座標、幅及び高さを取得する。仮想スクリーンが長方形のスクリーンＳＣ１である場合、要求カメラワークデータに設定された座標、幅及び高さが、表示範囲Ｒ１のスクリーンＳＣ１における座標、幅及び高さである。仮想スクリーンが円筒形のスクリーンＳＣ２である場合、要求カメラワークデータに設定された高さが、表示範囲Ｒ２の高さである。制御部２１は、要求カメラワークデータに設定された方位角及び横視野角に基づいて、スクリーンＳＣ２上における表示範囲Ｒ２の座標及び幅を計算する。仮想スクリーンが球形のスクリーンＳＣ３である場合、制御部２１は、要求カメラワークデータに設定された方位角、仰俯角、横視野角及び縦視野角に基づいて、スクリーンＳＣ３上における表示範囲Ｒ３の座標、幅及び高さを計算する。

制御部２１は、表示範囲の座標、幅及び高さに基づいて、仮想スクリーン上で表示範囲の少なくとも一部と重なる分割画像フレームの分割番号を特定する。表示範囲が複数の分割画像フレームにまたがる場合、制御部２１は、複数の分割画像フレームの分割番号を特定する。制御部２１は、ユーザが選択したコンテンツのコンテンツＩＤと、要求カメラワークデータに設定されている再生位置と、特定した分割番号を含む要求リストを生成する。要求リストは、１つの画像フレームについて配信サーバ１に要求する分割画像フレームのリストである。制御部２１は、要求する画像フレームごとに要求リストを生成する。例えば、送信間隔が動画データのフレーム間隔よりも長い場合、制御部２１は、複数の要求リストを生成する。例えば、送信間隔がフレーム間隔の２倍である場合、制御部２１は、３１つの要求リストを生成する。複数の要求リストを生成する場合、再生位置を除いて、各要求リストの内容は同一である。再生位置は、フレーム間隔ごとにずれている。制御部２１は、生成した要求リストを含むコンテンツ要求を配信サーバ１へ送信する。

配信サーバ１は、受信したコンテンツ要求から要求リストを取得する。配信サーバ１は、動画データ格納領域１１ａから、要求リストに設定されたコンテンツＩＤ、再生位置及び分割番号に対応する分割画像フレームを取得する。そして、配信サーバ１は、取得した分割画像フレームを順次受信クライアントへ送信する。制御部２１は、配信サーバ１から順次送信されてくる分割画像フレームを受信する。これにより、制御部２１は、動画データブロックを受信する。制御部２１は、受信した動画データブロックをバッファメモリに保持する。

次いで、制御部２１は、再生位置ｐに送信間隔を加算する（ステップＳ２８）。次いで、制御部２１は、再生に十分な動画データブロックがバッファメモリに蓄積されているか否かを判定する（ステップＳ２９）。例えば、制御部２１は、予め設定された数分の画像フレームに対応する分割画像データがバッファメモリに保持されている場合、再生に十分な動画データブロックが蓄積されていると判定する。制御部２１は、再生に十分な動画データブロックがバッファメモリに蓄積されていないと判定した場合には（ステップＳ２９：ＮＯ）、ステップＳ３０に進む。一方、制御部２１は、再生に十分な動画データブロックがバッファメモリに蓄積されていると判定した場合には（ステップＳ２９：ＹＥＳ）、ステップＳ３１に進む。ステップＳ３０において、制御部２１は、コンテンツが再生中の場合、コンテンツの再生を一時停止させる。次いで、制御部２１は、ステップＳ２４に進む。

ステップＳ３１において、制御部２１は、コンテンツが再生中ではない場合、コンテンツの再生を開始又は再開させる。コンテンツが再生中である場合、制御部２１は、コンテンツの再生を継続させる。次いで、制御部２１は、ステップＳ２４に進む。コンテンツの再生処理は、例えば、受信クライアントメイン処理と並行して実行される。コンテンツの再生処理において、制御部２１は、動画データの再生位置に対応したカメラワークデータを受信カメラワークデータリストから取得する。そして、制御部２１は、カメラワークデータに基づいて、仮想スクリーン上における表示範囲の座標、幅及び高さを取得する。制御部２１は、表示範囲の座標、幅及び高さに基づいて、再生位置に対応する画像フレームの分割画像データについて、表示部２４ａの画面における表示位置及び拡大率（又は縮小率）を決定する。そして、表示部２４ａは、決定した表示位置及び拡大率と、分割画像データとに基づいて、フレームバッファへの画像の書き込みを行う。これにより、制御部２１は、カメラワークデータが示す表示範囲に従って、１つの画像フレームの映像を表示部２４ａに表示させる。制御部２１は、このような処理を画像フレームごとに行う。

ステップＳ２４において、制御部２１は、ユーザがコンテンツの再生の終了を指示したと判定した場合には（ステップＳ２４：ＹＥＳ）、カメラワークデータ受信処理を終了させる。

以上説明したように、本実施形態によれば、送信クライアントは、操作部２５ａにより変更指示が受け付けられたとき、変更指示に基づいて表示範囲の予測値を示すカメラワークデータを生成する。送信クライアントは、生成されたカメラワークデータを受信クライアントに送信する。そのため、受信クライアントが表示範囲を推定しなくても適切な表示範囲で映像を表示させることができる。

なお、操作部２５ａに対する操作により、表示範囲の傾き角度の変更が可能になっていてもよい。表示範囲の傾き角度は、視線を中心として表示範囲が回転した角度である。この場合、カメラワークデータの中に、表示範囲の傾き角度が含まれる。例えば、仮想スクリーンが長方形のスクリーンＳＣ１である場合、表示範囲Ｒ１の底辺とＸ軸とがなす角度が傾き角度である。また、仮想スクリーンが円筒形のスクリーンＳＣ２や球形のスクリーンＳＣ３である場合に、操作部２５ａに対する操作により、視点位置の変更が可能になっていてもよい。例えば、仮想スクリーンが円筒形のスクリーンＳＣ２である場合に、視点位置がＺ軸方向に移動可能であってもよい。この場合、カメラワークデータの中に、視点位置のＺ座標が含まれる。視点位置のＸ座標及びＹ座標はいずれも０である。また、例えば、視点位置が任意の方向に移動可能であってもよい。この場合、カメラワークデータの中に、視点位置のＸ座標、Ｙ座標及びＺ座標が含まれる。

１ 配信サーバ
２ クライアント
２１ 制御部
２２ 記憶部
２４ａ 表示部
２５ａ 操作部
Ｓ 通信システム

Claims (9)

1. 表示装置に表示される映像の表示範囲の変更指示を受け付ける受付手段と、
   前記受付手段により変更指示が受け付けられたとき、前記変更指示に基づいて前記表示範囲の予測値を示す予測範囲情報を生成する生成手段と、
   前記生成手段により生成された前記予測範囲情報を前記表示装置へ送信する送信手段と、
   を備える情報処理装置と、
   表示手段に表示させる映像を表す映像情報を取得する取得手段と、
   前記予測範囲情報を、通信手段を介して情報処理装置から受信する受信手段と、
   前記受信手段により受信された前記予測範囲情報に従って、前記取得手段により取得された映像情報により表示可能な映像の一部の範囲を表示する表示制御手段と、
   を備える表示装置と、
   を備えることを特徴とする情報処理システム。
2. 前記表示装置は、
   三次元仮想空間において、パノラマ映像を表す前記映像情報に基づいて、パノラマ映像が表示される仮想立体面に対する視点位置、視線方向及び視野面積に応じた範囲で、パノラマ映像を表示可能であり、
   前記受付手段は、表示装置に表示されるパノラマ映像の表示範囲として、前記視点位置、前記視線方向及び前記視野面積の少なくとも何れか１つを含む前記変更指示を受け付け、
   前記生成手段は、前記受付手段により変更指示が受け付けられたとき、前記変更指示に基づいて、パノラマ映像における前記視点位置、前記視線方向及び前記視野面積のうち前記変更指示に応じた少なくとも何れか１つの予測値を含む前記予測範囲情報を生成し、
   前記送信手段は、前記生成手段により生成された前記予測範囲情報を前記表示装置へ送信し、
   前記取得手段は、パノラマ映像を表す前記映像情報を取得し、
   前記受信手段は、パノラマ映像における前記予測範囲情報を、通信を介して情報処理装置から受信し、
   前記表示制御手段は、前記受信手段により受信された前記予測範囲情報に従って、前記取得手段により取得された映像情報により表示可能なパノラマ映像の一部の範囲を表示することを特徴とする請求項１に記載の情報処理システム。
3. 前記仮想立体面における前記視野面積を定める視野角の予測値を含む前記予測範囲情報を生成することを特徴とする請求項２に記載の情報処理システム。
4. 前記視点位置からの前記視線方向を定める方位角及び仰俯角の予測値を含む前記予測範囲情報を生成することを特徴とする請求項２または３に記載の情報処理システム。
5. 前記生成手段は、前記受付手段により受け付けられた変更指示に応じたアルゴリズムにより前記変更指示に従って前記表示範囲が変更される場合における現在よりも後の前記表示範囲を決定し、決定された表示範囲を示す前記予測範囲情報を生成することを特徴とする請求項１乃至４の何れか１項に記載の情報処理システム。
6. 表示手段に表示させる映像の表示範囲を予測した予測範囲情報に従って、前記映像の一部の範囲を表示する表示装置と通信可能な情報処理装置であって、
   前記表示装置に表示される映像の表示範囲の変更指示を受け付ける受付手段と、
   前記受付手段により変更指示が受け付けられたとき、前記変更指示に基づいて前記表示範囲の予測値を示す予測範囲情報を生成する生成手段と、
   前記生成手段により生成された前記予測範囲情報を前記表示装置へ送信する送信手段と、
   を備える情報処理装置。
7. 表示手段に表示させる映像を表す映像情報を取得する取得手段と、
   表示装置に表示される映像の表示範囲の変更指示を受け付ける受付手段、及び、前記受付手段により変更指示が受け付けられたとき、前記変更指示に基づいて前記表示範囲の予測値を示す予測範囲情報を生成する生成手段を備える情報処理装置から、前記予測範囲情報を通信手段を介して受信する受信手段と、
   前記受信手段により受信された前記予測範囲情報に従って、前記取得手段により取得された映像情報により表示可能な映像の一部の範囲を表示する表示制御手段と、
   を備えることを特徴とする表示装置。
8. 表示手段に表示させる映像の表示範囲を予測した予測範囲情報に従って、前記映像の一部の範囲を表示する表示装置と通信可能な情報処理装置のコンピュータに、
   前記表示装置に表示される映像の表示範囲の変更指示を受け付ける受付ステップと、
   前記受付ステップにより変更指示が受け付けられたとき、前記変更指示に基づいて前記表示範囲の予測値を示す予測範囲情報を生成する生成ステップと、
   前記生成ステップにより生成された前記予測範囲情報を前記表示装置へ送信する送信ステップと、
   を実行させることを特徴とするプログラム。
9. 表示装置のコンピュータに、
   表示手段に表示させる映像を表す映像情報を取得する取得ステップと、
   表示装置に表示される映像の表示範囲の変更指示を受け付ける受付手段、及び、前記受付手段により変更指示が受け付けられたとき、前記変更指示に基づいて前記表示範囲の予測値を示す予測範囲情報を生成する生成手段、を備える情報処理装置から、前記予測範囲情報を通信手段を介して受信する受信ステップと、
   前記受信ステップにより受信された前記予測範囲情報に従って、前記取得ステップにより取得された映像情報により表示可能な映像の一部の範囲を表示する表示制御ステップと、
   を実行させることを特徴とするプログラム。

Images