以下、本発明を実施するための形態について、図面を参照しながら説明する。各図中、同一符号は、同一または同等の構成要素を示している。
図1は、本発明の一実施形態に係る映像表示システム1の構成例を示す図である。
図1に示す映像表示システム1は、配信装置10と、複数の端末装置20とを備える。配信装置10は、複数の端末装置20それぞれと、有線通信または無線通信により、ネットワーク2を介して通信可能である。本実施形態に係る映像表示システム1は、配信装置10から配信された映像コンテンツを複数の端末装置20で表示するものである。
配信装置10は、映像コンテンツをネットワーク2を介して端末装置20に配信する。配信装置10が配信する映像コンテンツとしては、例えば、8K−SHVに代表されるような超高精細な高解像度映像のコンテンツ(高解像度映像コンテンツ)がある。
端末装置20は、携帯電話、スマートフォン、タブレット端末のような、ユーザが所有する装置である。端末装置20は、表示部を有しており、配信装置10による配信対象の映像コンテンツ(映像)を表示部で表示する。
図2は、本実施形態に係る端末装置20による配信装置10から配信された映像コンテンツの表示態様の一例を示す図である。
図2に示すように、本実施形態においては、複数の端末装置20が平面上に、表示部が閲覧可能に配置され、配信装置10による配信対象の映像コンテンツ(映像)を、複数の端末装置20により表示する。すなわち、複数の端末装置20はそれぞれ、配信対象の映像が分割された映像を表示し、全体として、配信対象の映像を利用者に閲覧させる。なお、複数の端末装置20が立体表面上に、表示部が閲覧可能に配置され、配信装置10による配信対象の映像コンテンツ(映像)を、複数の端末装置20により表示してもよい。
次に、配信装置10および端末装置20の構成について説明する。
図3は、本実施形態に係る配信装置10および端末装置20の構成例を示す図である。なお、図3においては、端末装置20の構成のうち、配信対象の映像の表示部(不図示)での表示(再生)に係る構成を中心に説明する。まず、配信装置10の構成について説明する。
図3に示す配信装置10は、分割部11と、配信部12とを備える。
分割部11は、配信対象の映像コンテンツ(例えば、高解像度映像)が入力されると、そのコンテンツを配信するための配信ファイルを生成する。具体的には、分割部11は、配信ファイルとして、配信対象の映像を分割した複数の分割映像を生成する。ここで、分割部11は、配信対象の映像を、複数の端末装置20による表示態様に応じた異なる分割パターンで分割し、分割パターンごとの複数の分割映像をまとめた分割グループ(分割グループ1,2,・・・)を生成する。複数の端末装置20による表示態様としては、配信対象の映像を表示する端末装置20の台数、複数の端末装置20の配置、端末装置20の回転に応じた表示の切り替え(Landscape表示(横向き表示)/Portrait表示(縦向き表示))の対応の有無などがある。分割部11は、種々の表示態様に応じた分割パターンで配信対象の映像を分割し、分割映像を生成する。また、分割部11は、表示態様に応じて、配信対象の映像の解像度を調整してもよい。
図4A〜図4Dは、分割部11による配信対象の映像の分割および解像度調整の例を示す図である。図4A〜図4Dにおいては、配信対象の映像の解像度をサイズで示している。
図4Aは、配信対象の映像(オリジナルの映像)は分割せず、解像度を小さくした(例えば、8Kから2Kに縮小)例を示す図である。
図4Bは、配信対象の映像を4分割した例を示す図である。図4Bにおいては、配信対象の映像の解像度を小さくした上で4分割(2×2)した例、および、配信対象の映像の解像度はそのままで4分割した例を示している。
図4Cは、配信対象の映像を9分割した例を示す図である。図4Cにおいては、配信対象の映像の解像度を小さくした上で9分割(3×3)した例を示している。なお、図4Cにおいては、配信対象の映像の解像度を小さくした上で9分割した例を示しているが、解像度はそのままで、配信対象の映像を9分割してもよい。
図4Dは、配信対象の映像を16分割した例を示す図である。図4Dにおいては、配信対象の映像の解像度はそのままで16分割(4×4)した例を示している。
図3を再び参照すると、分割部11は、配信ファイルとしてさらに、マニフェストファイルを生成する。マニフェストファイルには、配信対象の映像が分割された複数の分割映像それぞれの格納場所を示す情報(例えば、URL(Uniform Resource Locator))が含まれる。また、マニフェストファイルには、配信対象の映像の分割パターンを含む、配信対象の映像の表示(再構成)に関する情報が含まれる。
なお、分割部11は、配信対象の映像の解像度を小さくするだけでなく、配信対象の映像のサイズを大きくした上で分割してもよい。例えば、端末装置20での再構成時に、分割映像の一部だけを端末装置20の表示部で表示する、すなわち、分割映像の一部をトリミングして再生することを前提として、配信対象の映像のサイズを縦横それぞれ2倍にした上で、4分割するなどしてもよい。
配信部12は、分割部11により生成された複数の分割映像およびマニフェストファイルを端末装置20に配信する。配信方法としては、例えば、既存のポッドキャストと同様に、マニフェストファイルおよび分割映像をWebサーバで公開する方法がある。
次に、端末装置20の構成について説明する。
図3に示す端末装置20は、受信部21と、同期部22と、再構成部23とを備える。
受信部21は、ネットワーク2を介して、配信装置10が公開したマニフェストファイル、および、配信対象の映像を分割した複数の分割映像のうち、受信したマニフェストファイルに基づく分割映像を受信する。より具体的には、受信部21は、配信対象の映像を分割した複数の分割映像のうち、自装置で表示する部分に対応する分割映像を受信する。したがって、マニフェストファイルは、全ての端末装置20が受信する。一方、分割映像は、その分割映像を表示する端末装置20のみが受信する。すなわち、各端末装置20で分割映像の受信対象が異なる。したがって、各端末装置20は、配信対象の映像全体を受信する必要がないので、通信量を削減することができる。
同期部22は、任意の方法により、配信対象の映像を表示するために平面上または立体表面上に配置された複数の端末装置20による配信対象の映像の表示態様、および、その表示態様における自装置の位置(自装置と他の端末装置20との相対的な位置関係)を検出する。以下では、複数の端末装置20が平面上に配置された例を用いて説明する。
図2に示したように、配信装置10から配信されたコンテンツを視聴する際に、複数の端末装置20が平面上に格子状に配置される。同期部22は、配信対象の映像を表示する端末装置20の数、格子状の配置における自装置の位置(格子状座標)、他の端末装置20の回転に応じた表示の切り替えの対応の有無などを検出する。また、同期部22は、例えば、自装置と他の端末装置20とのローカル時刻のズレを検出する。
同期部22は、端末装置20が備える各種センサ(ジャイロセンサ、地軸センサなど)の検出結果、端末装置20への操作入力などの種々の情報を他の端末装置20と送受信する。そして、同期部22は、他の端末装置20と送受信した情報に基づき、コンテンツの表示態様、その表示態様における自装置の位置などを検出する。なお、同期部22は、他の端末装置20との近距離無線通信により、すなわち、ネットワーク2を介さずに、種々の情報を送受信する。したがって、端末装置20は、ネットワーク2にアクセスできない環境でも、複数の端末装置20による配信対象の映像の表示態様、および、その表示態様における自装置の位置などを自律的に検出することができる。
同期部22は、配信対象の映像の複数の表示端末20による表示態様および自装置の位置を検出すると、受信部21が受信したマニフェストファイルに示される、検出した表示態様に応じた分割パターンで配信対象の映像が分割された複数の分割映像のうち、検出した自装置の位置に対応する分割映像を受信部21に受信させる。また、同期部22は、検出した表示態様および自装置の位置を再構成部23に出力する。
なお、同期部22は、自装置の位置変更および回転、また、コンテンツを再生する端末装置20の追加などを検出すると、受信部21および再構成部23に再処理を要求する。こうすることで、表示態様に変更があった場合にも、自律的に変更後の表示態様に合わせて配信対象の映像を表示することができる。
再構成部23は、受信部21が受信したマニフェストファイルに基づき、同期部22が検出した表示態様に応じて、受信部21が受信した分割画像を、拡大・縮小するなどして表示部に表示する。また、再構成部23は、所定の操作入力により、コンテンツの再生・停止・一時停止などを行う。また、再構成部23は、自装置あるいは他の端末装置20の位置変更および回転、また、コンテンツを再生する端末装置20の追加などにより再処理が要求されると、変更後の表示態様に応じた映像を表示部に表示させる。
次に、本実施形態に係る映像表示システム1における配信装置10および端末装置20の動作について説明する。
図5は、本実施形態に係る端末装置20による配信対象の映像の表示について説明するための図である。図5においては、配信対象の映像が8Kの映像であるものとして説明する。
配信装置10は、配信対象の映像(8Kの映像)の解像度を下げた映像(2Kの映像)、配信対象の映像を4分割した分割映像(4K×4)、配信対象の映像を16分割した分割映像(2K×16)などを予め生成しておく。
端末装置20は、配信対象の映像を1台で表示する場合には、例えば、図5に示すように、配信対象の映像の解像度を下げた映像を表示する。
配信対象の映像を表示する端末装置20が1台追加され、例えば、図5に示すように、縦方向に隣接して2台の端末装置20が配置されると、2台の端末装置20はそれぞれ、配信対象の映像の表示態様(配信対象の映像を表示する台数およびその配置)、自装置と他の端末装置20との位置関係などを検出し、検出した表示態様に対応する分割パターンで分割された分割映像(4分割された分割映像)のうち、自装置の位置に対応する分割映像を受信し、表示部に表示する。
さらに、図5に示すように、配信対象の映像を表示する端末装置20が3台追加されると、5台の端末装置20はそれぞれ、配信対象の映像の表示態様、自装置と他の端末装置20との位置関係などを検出し、検出した表示態様に対応する分割パターンで分割された分割映像(16分割された分割映像)のうち、自装置の位置に対応する分割映像を受信し、表示部に表示する。
このように、配信装置10は、配信対象の映像の表示態様に応じた異なる分割パターンで配信対象の映像を分割した複数の分割映像を生成する。端末装置20は、配信対象の映像を複数の端末装置20で表示する表示態様およびその表示態様における自装置の位置を検出し、検出した表示態様に応じた分割パターンで配信対象の映像が分割された複数の分割映像のうち、自装置の位置に対応する分割映像を受信して表示する。そのため、サーバ装置などを介さずに、複数の端末装置20による配信対象の映像の表示態様に応じてより柔軟な映像の表示が可能となる。
図6A〜図6Cは、端末装置20の数に応じた配信対象の映像の再構成パターンの例を示す図である。
図6Aに示す再構成パターン(再構成パターンA)では、配信対象の映像を表示する端末装置20の台数が1台の場合には、端末装置20は、分割されていない配信対象の映像を表示する。配信対象の映像を表示する端末装置20の台数が2−4台である場合には、2×2の格子状配置の表示態様で、各端末装置20が、自装置の位置に対応する分割映像を表示する。また、配信対象の映像を表示する端末装置20の台数が5−16台である場合には、4×4の格子状配置の表示態様で、各端末装置20が、自装置の位置に対応する分割映像を表示する。
図6Bに示す再構成パターン(再構成パターンB)では、配信対象の映像を表示する端末装置20の台数が1台の場合には、端末装置20は、分割されていない配信対象の映像を表示する。配信対象の映像を表示する端末装置20の台数が2−4台である場合には、2×2の格子状配置の表示態様で、各端末装置20が、自装置の位置に対応する分割映像を表示する。また、配信対象の映像を表示する端末装置20の台数が5−9台である場合には、3×3の格子状配置の表示態様で、各端末装置20が、自装置の位置に対応する分割映像を表示する。また、配信対象の映像を表示する端末装置20の台数が10−16台である場合には、4×4の格子状配置の表示態様で、各端末装置20が、自装置の位置に対応する分割映像を表示する。
図6Cに示す再構成パターン(再構成パターンC)では、配信対象の映像を表示する端末装置20の台数が1台の場合には、端末装置20は、分割されていない配信対象の映像を表示する。配信対象の映像を表示する端末装置20の台数が2−16台である場合には、4×4の格子状配置の表示態様で、各端末装置20が、自装置の位置に対応する分割映像を表示する。
このように、配信対象の映像を表示する端末装置20の台数が同じであっても、種々の再構成パターンを設定することができる。分割部11は、マニフェストファイルにおいて、配信対象の映像の分割パターンと共に、配信対象の映像の再構成パターンを指定する。こうすることで、配信側において、所望の再構成パターンで配信対象の映像を表示させることができる。
また、同じ再構成パターンであっても、各端末装置20が受信する分割映像が異なるようにしてもよい。以下では、同じ再構成パターンでも、各端末装置20が受信する分割映像が異なる場合について、説明する。
図7Aは、再構成パターンとして、図6Aを参照して説明した再構成パターンAを用いる場合の、各端末装置20が受信する分割映像を示す図である。図7Aにおいては、配信対象の映像の解像度が下げられた映像と、配信対象の映像を4分割した分割映像と、配信対象の映像を16分割した分割映像とが用意されているとする。また、以下では、再構成パターンの各矩形は、各端末装置20を示しており、各矩形に付された番号は、その矩形に対応する端末装置20が受信する分割映像を示すものとする。
図6Aを参照して説明したように、再構成パターンAでは、配信対象の映像を表示する端末装置20の台数が2−4台の場合には、2×2の格子状配置の表示態様で、各端末装置20が、自装置の位置に対応する分割映像を表示する。また、配信対象の映像を表示する端末装置20の台数が5−16台の場合には、4×4の格子状配置の表示態様で、各端末装置20が、自装置の位置に対応する分割映像を表示する。
再構成パターンA1では、図7Aに示すように、配信対象の映像を表示する端末装置20の台数が2−4台の場合には、各端末装置20は、2×2の格子状配置の表示態様で、配信対象の映像が4分割された分割映像の中から、2×2の格子状配置における自装置の位置に対応する分割映像を表示する。また、配信対象の映像を表示する端末装置20の台数が5−16台の場合には、各端末装置20は、4×4の格子状配置の表示態様で、配信対象の映像が16分割された分割映像の中から、4×4の格子状配置における自装置の位置に対応する分割映像を表示する。
再構成パターンA2では、図7Aに示すように、配信対象の映像を表示する端末装置20の台数が2−4台の場合には、各端末装置20は、2×2の格子状配置の表示態様で、配信対象の映像が4分割された分割映像の中から、2×2の格子状配置における自装置の位置に対応する分割映像を表示する。
また、配信対象の映像を表示する端末装置20の台数が5−16台の場合には、各端末装置20は、4×4の格子状配置の表示態様で、配信対象の映像が4分割された分割映像の中から、4×4の格子状配置における自装置の位置に対応する分割映像を表示する。すなわち、端末装置20は、例えば、自装置の位置が、4×4の格子状配置のうち、左上の4台分の位置に当たる場合には、配信対象の映像が4分割された分割映像のうち、右上の分割映像2を受信する。そして、端末装置20は、例えば、自装置の位置が、4×4の格子状配置の内、左上端の位置に当たる場合には、図7Bに示すように、受信した分割映像2のうち、左上の4分の1の部分の映像2Aを表示する。
図8は、再構成パターンとして、図6Bを参照して説明した再構成パターンBを用いる場合の、各端末装置20が受信する分割映像を示す図である。図8においては、配信対象の映像の解像度が下げられた映像と、配信対象の映像を4分割した分割映像と、配信対象の映像を9分割した分割映像と、配信対象の映像を16分割した分割映像とが用意されているとする。
図6Bを参照して説明したように、再構成パターンBでは、配信対象の映像を表示する端末装置20の台数が2−4台の場合には、2×2の格子状配置の表示態様で、各端末装置20が、自装置の位置に対応する分割映像を表示する。また、配信対象の映像を表示する端末装置20の台数が5−9台の場合には、3×3の格子状配置の表示態様で、各端末装置20が、自装置の位置に対応する分割映像を表示する。また、配信対象の映像を表示する端末装置20の台数が10−16台の場合には、4×4の格子状配置の表示態様で、各端末装置20が、自装置の位置に対応する分割映像を表示する。
再構成パターンB1では、図8に示すように、配信対象の映像を表示する端末装置20の台数が2−4台の場合には、各端末装置20は、2×2の格子状配置の表示態様で、配信対象の映像が4分割された分割映像の中から、2×2の格子状配置における自装置の位置に対応する分割映像を表示する。また、配信対象の映像を表示する端末装置20の台数が5−9台の場合には、各端末装置20は、3×3の格子状配置の表示態様で、配信対象の映像が9分割された分割映像の中から、3×3の格子状配置における自装置の位置に対応する分割映像を表示する。また、配信対象の映像を表示する端末装置20の台数が10−16台の場合には、各端末装置20は、4×4の格子状配置の表示態様で、配信対象の映像が16分割された分割映像の中から、4×4の格子状配置における自装置の位置に対応する分割映像を表示する。
再構成パターンB2では、図8に示すように、配信対象の映像を表示する端末装置20の台数が2−4台の場合には、各端末装置20は、2×2の格子状配置の表示態様で、配信対象の映像が4分割された分割映像の中から、2×2の格子状配置における自装置の位置に対応する分割映像を表示する。
また、配信対象の映像を表示する端末装置20の台数が5−9台の場合には、左上端、右上端、左下端、右下端に位置する端末装置20は、配信対象の映像が4分割された分割映像の中から、それぞれ対応する位置の分割映像を受信する。すなわち、左上端の端末装置20は、配信対象の映像が4分割された分割映像のうち、左上の分割映像2を受信する。また、右上端の端末装置20は、配信対象の映像が4分割された分割映像のうち、右上の分割映像3を受信する。また、左下端の端末装置20は、配信対象の映像が4分割された分割映像のうち、左下の分割映像4を受信する。また、右下端の端末装置20は、配信対象の映像が4分割された分割映像のうち、右下の分割映像5を受信する。また、その他の端末装置20は、3×3の格子状配置の表示態様で、配信対象の映像が9分割された分割映像の中から、3×3の格子状配置における自装置の位置に対応する分割映像を表示する。左上端、右上端、左下端、右下端に位置する端末装置20はそれぞれ、図7Bと同様に、受信した分割映像のうち、自装置の位置に応じた一部の映像を表示部に表示する。
また、配信対象の映像を表示する端末装置20の台数が10−16台の場合には、各端末装置20は、4×4の格子状配置の表示態様で、配信対象の映像が4分割された分割映像の中から、4×4の格子状配置における自装置の位置に対応する分割映像を表示する。すなわち、端末装置20は、例えば、自装置の位置が、4×4の格子状配置のうち、左上の4台分の位置に当たる場合には、配信対象の映像が4分割された分割映像のうち、左上の分割映像2を受信する。そして、端末装置20は、例えば、自装置の位置が、4×4の格子状配置の内、左上端の位置に当たる場合には、図7Bと同様に、受信した分割映像のうちの一部(左上の4分の1の部分)の映像を表示部に表示する。
図9は、再構成パターンとして、図6Cを参照して説明した再構成パターンCを用いる場合の、各端末装置20が受信する分割映像を示す図である。図9においては、配信対象の映像の解像度が下げられた映像と、配信対象の映像を4分割した分割映像と、配信対象の映像を16分割した分割映像とが用意されているとする。
図6Cを参照して説明したように、再構成パターンCでは、配信対象の映像を表示する端末装置20の台数が2−16台の場合には、4×4の格子状配置の表示態様で、各端末装置20が、自装置の位置に対応する分割映像を表示する。
再構成パターンC1では、図9に示すように、配信対象の映像を表示する端末装置20の台数が2−16台の場合には、各端末装置20は、4×4の格子状配置の表示態様で、配信対象の映像が16分割された分割映像の中から、4×4の格子状配置における自装置の位置に対応する分割映像を表示する。
再構成パターンC2では、図9に示すように、配信対象の映像を表示する端末装置20の台数が2−16台の場合には、各端末装置20は、4×4の格子状配置の表示態様で、配信対象の映像が4分割された分割映像の中から、4×4の格子状配置における自装置の位置に対応する分割映像を表示する。すなわち、端末装置20は、例えば、自装置の位置が、4×4の格子状配置のうち、左上の4台分の位置に当たる場合には、配信対象の映像が4分割された分割映像のうち、左上の分割映像2を受信する。そして、端末装置20は、例えば、自装置の位置が、4×4の格子状配置の内、左上端の位置に当たる場合には、図7Bと同様に、受信した分割映像のうちの一部(左上の4分の1の部分)の映像を表示部に表示する。
図7Aを参照して説明したように、再構成パターンA2では、配信対象の映像を表示する端末装置20の台数が5−16台である場合には、配信対象の映像が4分割された分割映像が用いられる。また、図8を参照して説明したように、再構成パターンB2では、配信対象の映像を表示する端末装置20の台数が10−16台である場合には、配信対象の映像が4分割された分割映像が用いられる。また、再構成パターンC2では、映像を表示する端末装置20の台数が2−16台である場合には、配信対象の映像が4分割された分割映像が用いられる。すなわち、これらの再構成パターンA2,B2,C2では、配信対象の映像を16分割した分割映像を用意する必要がない。したがって、分割部11が生成する分割グループを減らし、処理負荷、分割映像を記憶する記憶容量などの削減を図ることができる。
このように、分割部11は、配信対象の映像を表示する端末装置20の台数よりも少ない分割数で配信対象の映像を分割してもよい。すなわち、分割部11は、分割映像が1台の端末装置20で表示される映像よりも大きくなるような分割パターンで配信対象の映像を分割してもよい。この場合、再構成部23は、同期部22が検出した自装置の位置に応じて、受信部21が受信した分割映像における一部の映像を表示部に表示する。すなわち、再構成部23は、受信部21が受信した分割映像の一部をトリミングして表示部に表示する。こうすることで、分割部11が生成する分割グループの数を減らすことができる。
なお、例えば、図9に示す再構成パターンC2の場合、端末装置20は、自装置で映像を表示するサイズの4倍のサイズの分割映像を受信する。端末装置20は、その4倍のサイズの分割映像のトリミングを行う。この場合、端末装置20は、Landscape表示(横向き表示)を行うために横向きに配置するだけでなく、Portrait表示(縦向き表示)を行うために縦向きに配置することも可能である。したがって、図10A,10Bに示すように、縦向きの端末装置20と横向きの端末装置20とを組み合わせて配置して、配信対象の映像を表示することも可能である。なお、図10Aにおいては、配信対象の映像を表示する端末装置20の台数が4台である例を示している。また、図10Bにおいては、配信対象の映像を表示する端末装置20の台数が10台である例を示している。
また、分割映像が1台の端末装置20で表示される映像よりも大きくなるような分割パターンで配信対象の映像が分割されている場合、再構成部23は、同期部22が検出した自装置の向きに応じて、受信部21が受信した分割映像における一部の映像を表示部に表示するようにしてもよい。すなわち、再構成部23は、図11に示すように、端末装置20が横向きの場合には(Landscape表示を行う場合には)、分割映像のうち、横向き(横長)の一部の映像(斜線を付した部分)を表示部に表示し、端末装置20が縦向きの場合には(Portrait表示を行う場合には)、縦向き(縦長)の一部の映像(斜線を付した部分)を表示部に表示視してもよい。
また、分割部11が生成するマニフェストファイルには、図12に示すように、配信されたコンテンツを表示する複数の端末装置20のうち、その複数の端末装置20による表示態様における特定の位置の端末装置20に音声出力をさせるような指示が含まれていてもよい。図12の例では、4×4の格子状に配置された端末装置20のうち、左上端の端末装置20と、左から三番目上から三番目の端末装置20とが音声出力をしている例を示している。
次に、端末装置20による、自装置と他の端末装置20との相対的な位置関係の決定方法について説明する。
図13は、端末装置20における、他の端末装置20との相対的な位置関係の決定に係る構成例を示す図である。
図13に示す端末装置20は、検出部24と、共有部25と、決定部26とを備える。検出部24、共有部25および決定部26は、例えば、同期部22を構成する。
検出部24は、端末装置20が備えるタッチセンサ27、種々のセンサからなるセンサ部28およびカメラ部29などを用いて、自装置と他の端末装置20との相対的な位置関係を決定するために利用可能な情報、自装置での配信対象の映像の表示に関する情報など種々の情報(以下、準備情報と称する)を収集する。ここで、検出部24は、ネットワーク2へのアクセスを必須とせずに自装置で収集可能な範囲で準備情報を収集する。
検出部24が収集する情報としては、自装置のローカル時刻、自装置が備える表示部の画面サイズ、自装置の向く方位など種々の情報が含まれる。検出部24は、収集した準備情報を共有部25に出力する。
共有部25は、他の端末装置20と、Wifi(登録商標)、Bluetooth(登録商標)などの近距離無線通信を行い、グループを構成する。ここで、共有部25は、ネットワーク2に接続された外部サーバなどを介さずに、近距離無線通信により通信可能な他の端末装置20とグループを構成する。共有部25は、検出部24から出力された準備情報をグループを構成する他の端末装置20に送信するとともに、グループを構成する他の端末装置20から準備情報を受信する。すなわち、共有部25は、グループを構成する他の端末装置20と準備情報を共有する。以下では、グループを構成する端末装置20間で共有された準備情報の集合を、相互位置情報と称することがある。共有部25は、相互位置情報を決定部26に出力する。また、共有部25は、検出部24により自装置の位置の変更、自装置の回転などが検出される(準備情報が更新される)と、更新後の準備情報を他の端末装置20と共有して、相互位置情報を更新する。
なお、共有部25は、予め定められた事前ルールに基づき、準備情報の共有処理を制限してもよい。例えば、共有部25は、N台以上での準備情報の共有を認めない、表示部の画面サイズ、アスペクト比などが異なる端末装置20との共有を認めない、などの制限を加えてもよい。また、共有部25は、準備情報の変更の有無の検知の頻度を調整してもよい。
決定部26は、共有部25から出力された相互位置情報に基づき、グループを構成する他の端末装置20との間で同期をとる。また、決定部26は、共有部25から出力された相互位置情報に基づき、自装置とともにグループを構成する他の端末装置20との相対的な位置関係(自装置の位置(格子状座標))を決定する。
決定部26は、例えば、グループへの追加の順序、各端末装置20のローカル時刻の中央値などに基づき同期の基準となる端末装置20を決定し、その基準となる端末装置20のローカル時刻と自装置のローカル時刻との差分をとるなどして、グループを構成する他の端末装置20との間で同期をとる。
次に、決定部26による他の端末装置20との相対的な位置関係の決定方法について説明する。
他の端末装置20との相対的な位置関係の決定方法の1つとして、端末装置20が備えるタッチセンサ27のタッチ面へのタッチ操作を用いる方法(第1の方法)がある。また、別の決定方法として、端末装置20が備える種々のセンサからなるセンサ部28およびカメラ部29を用いる方法(第2の方法)がある。近年、スマートフォン、タブレット端末などの端末装置20の多くには、指、スタイラスペンなどによるタッチ面に対するタッチ操作によるタッチ位置を検出するタッチセンサ27が搭載されている。決定部26は、このタッチ面へのタッチ操作に基づき、自装置の位置を決定することができる。また、近年、スマートフォン、タブレット端末などの端末装置20の多くには、端末装置20の姿勢の検出などに用いられる種々のセンサからなるセンサ部28およびカメラ部29が搭載されている。決定部26は、センサ部28の検出結果およびカメラ部29により撮像された撮影画像に基づき、自装置の位置を決定することができる。以下では、まず第1の方法について説明する。
第1の方法では、検出部24は、タッチセンサ27のタッチ面に対するタッチ操作によるタッチを検出する。そして、検出部24は、タッチ位置をスライドさせるスライド操作により、タッチ面内において、タッチ面の外縁に沿って設定された複数の外縁領域の少なくとも1つがタッチされた場合、タッチされた外縁領域およびその外縁領域へのタッチのタイミング(時刻など)を示すセンサ情報を生成し、共有部25に出力する。
図14は、端末装置20が備えるタッチ面27aにおける外縁領域の設定の一例を示す図である。
通常、タッチ面27aは、端末装置20が備える表示部に重畳して設けられており、その形状は矩形(長方形)であることが一般的である。外縁領域は、タッチ面27a内において、タッチ面27aの外縁に沿って複数設定されている。図14においては、タッチ面27aの上端に沿って外縁領域27T(Top)が設定され、タッチ面27aの右端に沿って外縁領域27R(Right)が設定され、タッチ面27aの下端に沿って外縁領域27B(Bottom)が設定され、タッチ面27aの左端に沿って外縁領域27L(Left)が設けられている例を示している。
図15は、複数の端末装置20が平面上に配置され、隣接する端末装置20に跨るようにタッチ操作が行われた状態を示す図である。図15においては、端末装置20−1〜20−4が横向きに、2×2の格子状に配置されているとする。そして、左上に配置された端末装置20−1から左下に配置された端末装置20−3に跨るタッチ操作(タッチ操作1)、左上に配置された端末装置20−1から右上に配置された端末装置20−2に跨るタッチ操作(タッチ操作2)、および、右上に配置された端末装置20−2から右下に配置された端末装置20−4に跨るタッチ操作(タッチ操作3)が行われたとする。
タッチ操作1により、端末装置20−1の検出部24は、外縁領域27Lがタッチされたこと、および、外縁領域27Lがタッチされたタイミングを示すセンサ情報を生成する。また、端末装置20−3の検出部24は、外縁領域27Rがタッチされたこと、および、外縁領域27Rがタッチされたタイミングを示すセンサ情報を生成する。ここで、端末装置20−3の検出部24が生成するセンサ情報に示されるタイミング(外縁領域27Rがタッチされたタイミング)は、端末装置20−1の検出部24が生成するセンサ情報に示されるタイミング(外縁領域27Lがタッチされたタイミング)の直後である。したがって、これらのセンサ情報から、端末装置20−1,20−3が、端末装置20−1の左端と端末装置20−3の右端とが接するように配置されていることが分かる。
タッチ操作2により、端末装置20−1の検出部24は、外縁領域27Bがタッチされたこと、および、外縁領域27Bがタッチされたタイミングを示すセンサ情報を生成する。また、端末装置20−2の検出部24は、外縁領域27Tがタッチされたこと、および、外縁領域27Tがタッチされたタイミングを示すセンサ情報を生成する。ここで、端末装置20−2の検出部24が生成するセンサ情報に示されるタイミング(外縁領域27Tがタッチされたタイミング)は、端末装置20−1の検出部24が生成するセンサ情報に示されるタイミング(外縁領域27Bがタッチされたタイミング)の直後である。したがって、これらのセンサ情報から、端末装置20−1,20−2が、端末装置20−1の下端と端末装置20−2の上端とが接するように配置されていることが分かる。
タッチ操作3により、端末装置20−2の検出部24は、外縁領域27Lがタッチされたこと、および、外縁領域27Lがタッチされたタイミングを示すセンサ情報を生成する。また、端末装置20−4の検出部24は、外縁領域27Rがタッチされたこと、および、外縁領域27Rがタッチされたタイミングを示すセンサ情報を生成する。ここで、端末装置20−4の検出部24が生成するセンサ情報に示されるタイミング(外縁領域27Rがタッチされたタイミング)は、端末装置20−2の検出部24が生成するセンサ情報に示されるタイミング(外縁領域27Lがタッチされたタイミング)の直後である。したがって、これらのセンサ情報から、端末装置20−2,20−4が、端末装置20−2の左端と端末装置20−4の右端とが接するように配置されていることが分かる。
このように、検出部24は、各端末装置20のタッチ面27aの外縁に沿って設定された複数の外縁領域のいずれかがタッチされると、タッチされた外縁領域およびその外縁領域がタッチされたタイミングを示すセンサ情報を生成する。共有部25は、検出部24が生成したセンサ情報を他の端末装置20に送信すると共に、他の端末装置20からセンサ情報を受信する。そして、決定部26は、共有部25が他の端末装置20との間で送受信したセンサ情報に基づき、自装置と他の端末装置20との相対的な位置関係を決定する。
第1の方法では、各端末装置20へのタッチ操作(隣接する端末装置20に跨るスライド操作)だけで、端末装置20間の位置関係を決定することができる。したがって、ネットワーク2に接続された外部サーバなどを用いることなく、端末装置20が自律的に、自装置と他の端末装置20との相対的な位置関係を決定することができる。
なお、図14においては、タッチ面27aの四辺にそれぞれ、1つの外縁領域を設ける例を用いて説明したが、これに限られるものではない。タッチ面の四辺の少なくとも一辺に沿って複数の外縁領域を設定してもよい。
図16は、タッチ面27aの一辺に複数の外縁領域を設定した例を示す図である。図16においては、端末装置20−5のタッチ面27aの右端に沿って、2つの外縁領域27RT,27RDが設定されている例を示している。外縁領域27RTは、タッチ面27a内において、タッチ面27aの右端に沿って、タッチ面27aの上端から下端に向かって、略半分の位置まで延在する。また、外縁領域27RDは、タッチ面27aにおいて、タッチ面の右端に沿って、タッチ面27aの下端から上端に向かって、略半分の位置まで延在する。
図16に示すように、端末装置20−5は縦向きに配置され、端末装置20−6は横向きに、端末装置20−6の下端が端末装置20−5の右端下側に接するように配置されている場合に、端末装置20−5から端末装置20−6に跨るようにスライド操作が行われたとする。この場合、端末装置20−5の検出部24は、外縁領域27RDがタッチされたこと、および、外縁領域27RDがタッチされたタイミングを示すセンサ情報を生成する。また、端末装置20−6の検出部24は、外縁領域27Tがタッチされたこと、および、外縁領域27Tがタッチされたタイミングを示すセンサ情報を生成する。ここで、端末装置20−6の検出部24が生成するセンサ情報に示されるタイミング(外縁領域27Tがタッチされたタイミング)は、端末装置20−5の検出部24が生成するセンサ情報に示されるタイミング(外縁領域27RDがタッチされたタイミング)の直後である。したがって、これらのセンサ情報から、端末装置20−5,20−6が、端末装置20−5の右端下側と端末装置20−4の上端とが接するように配置されていることが分かる。
このように、タッチ面27aの一辺に沿って複数の外縁領域を設けることで、他の端末装置20との相対的な位置関係をより正確に検出することができる。
次に、第2の方法について説明する。
上述したように、スマートフォン、タブレット端末などの端末装置20の多くには、端末装置20の姿勢などを検出するために、加速度センサ、ジャイロセンサ、地磁気センサなどの各種のセンサが搭載されている。そして、近年、端末装置20の中には、これらのセンサを利用して、図17に示すように、仮想的に三次元空間での相対座標系を設定し、その相対座標系の原点(基準位置)からの端末装置20の移動距離および移動の向きを検出する機能を備えるものがある。検出部24は、端末装置20が備えるセンサ部28の検出結果から、三次元空間での相対座標系における端末装置20の移動距離および移動の向きをセンサ情報として検出する。第2の方法においては、端末装置20は、このセンサ情報を他の端末装置20と交換することで、自装置と他の端末装置20との相対的な位置関係を検出する。このとき、各端末装置20で相対座標系の軸がずれないように地磁気センサなどを用いて、座標軸を揃えておく必要がある。
具体的には、まず、ユーザにより、図18に示すように、2台の端末装置20−7,20−8が、表示部が上方向を向くようにして重ね合わされる。近年の端末装置20の多くには、表示部がユーザに向けられた状態で、ユーザに向かって配置されたカメラ(フロントカメラ)が搭載されている。したがって、下側の端末装置20−7のカメラ部29は、上側の端末装置20−8により覆われる。そのため、端末装置20−7のカメラ部29により撮像された撮影画像は、暗くなる。端末装置20−7の検出部24は、カメラ部29により撮像された撮影画像より、自装置の上側に他の端末装置20が重ね合わせられたことを検出する。すなわち、端末装置20−7の検出部24は、端末装置20の一面に配置されたカメラ部29により撮像された撮影画像に基づき、端末装置20の一面(カメラ部29が配置された面)に他の端末装置20が重ね合わされたことを検出する。
端末装置20−7は、自装置の上側に他の端末装置20が重ね合わせられたことを検出すると、例えば、その旨を近距離無線通信により付近の端末装置20に通知する。上側の端末装置20−8の検出部24は、下側の端末装置20−7から他の端末装置20が上側に重ね合わせられた旨の通知を受けると、その通知の前後でセンサ部28の検出結果から自装置が移動していると判定した場合には、自装置が端末装置20−7の上側に重ね合わせられたと検出する。また、端末装置20−8の検出部24は、所定の操作(例えば、タッチ面へのタッチ操作)の入力により、自装置が端末装置20−7の上側に重ね合わせられたことを検出してもよい。
共有部25は、自装置と他の端末装置20とが重ね合わせられたことを検出すると(自装置と他の端末装置20との重ね合わせに応じて)、その他の端末装置20と近距離無線通信を行い、検出部24で設定された三次元空間での相対座標系に関する情報を送受信して、三次元空間での相対座標系を一致させる(原点を一致させる)。例えば、上側の端末装置20の共有部25が、自装置において設定されている三次元空間での相対座標系を、下側の端末装置20において設定されている三次元空間での相対座標系に一致させる。
端末装置20−8の決定部26は、図18に示すように、下側の端末装置20−7との三次元空間での相対座標の一致後に、端末装置20−8が移動すると、検出部24により検出された自装置の移動距離および移動方向に基づき、下側に配置された他の端末装置20−7との相対的な位置関係を決定する。
すなわち、第2の方法においては、各端末装置20は、自装置が備える各種センサにより相対座標系を算出(設定)する。次に、各端末装置20は、地磁気センサなどを用いて、設定した相対座標系の軸をそろえる。次に、端末装置20同士の重ね合わせにより、設定した座標系の原点を重ね合わせられた端末装置20間で一致させる。次に、端末装置20は、自装置が移動すると、設定した相対座標系での位置(移動方向および移動距離)を検出する。
決定部26は、予め定められた事前ルールに基づき、配信対象の映像を表示する端末装置20の数に対応する座標数に応じた格子状配置における自装置の位置(座標)を決定する。事前ルールとしては、例えば、図19に示すように、最大で16台の端末装置20で配信対象の映像が表示される場合に、グループを構成する端末装置20の数が16台に満たなければ、できるだけ配信対象の映像の中央部分の分割映像が表示されるように、自装置の位置を決定するというルールが考えられる。なお、決定部26は、例えば、グループを構成する端末装置20の数を、配信対象の映像を表示する端末装置20として、自装置の位置を決定する。また、グループを構成する端末装置20の数は、ユーザにより端末装置20に入力されてもよい。
また、決定部26は、所定の操作入力、例えば、タッチ面27aへのタッチ操作により、自装置が他の端末装置20とともに形成するグループから除外されたと判定してもよい。また、決定部26は、検出部24の検出結果から、自装置が他の端末装置20と共に配置された平面から所定距離以上離れたことを検出すると、自装置が他の端末装置20とともに形成するグループから除外されたと判定してもよい。なお、第1の方法においても、決定部26は、同様にして、所定の操作入力、自装置が他の端末装置20と共に配置された平面上または立体表面上から所定距離以上離れたことなどに基づき、グループから除外されたと判定してもよい。
また、端末装置20の配置方法として、Landscape表示を行う横向きの配置およびPortrait表示を行う縦向きの配置のいずれか一方に固定してもよい。また、配信対象の映像を表示する端末装置20の数に応じて、Landscape表示を行う端末装置20の数と、Portrait表示を行う端末装置20の数とを変動させてもよい。
また、各端末装置20ごとに、Landscape表示およびPortrait表示のいずれか一方、あるいは、Landscape表示およびPortrait表示の両方を行わせるかを、事前ルールとして予め決めておいてもよい。Landscape表示およびPortrait表示の両方を行う場合、例えば、図20に示すように、端末装置20は、Landscape表示を行うか、Portrait表示を行うかに応じて、分割映像のうち、異なる部分を表示部に表示するようにしてもよい。
このように本実施形態によれば、映像表示システム1は、映像を配信する配信装置10と、表示部を有する複数の端末装置20とを備え、配信装置10により配信された映像を、平面上または立体表面上に配置された複数の端末装置20により表示する。配信装置10は、配信対象の映像の複数の端末装置20による表示態様に応じた異なる分割パターンで配信対象の映像を分割した複数の分割映像、および、配信対象の映像の表示態様に応じた分割パターンを含む、配信対象の映像の表示に関する情報を示すマニフェストファイルを生成する分割部11と、分割部11が生成した複数の分割映像およびマニフェストファイルを端末装置20に配信する配信部12とを備える。複数の端末装置20はそれぞれ、配信装置10からマニフェストファイル、および、複数の分割映像のうち、マニフェストファイルに基づく分割映像を受信する受信部21と、複数の端末装置20による表示態様および表示態様における自装置の位置を検出し、受信部21が受信したマニフェストファイルに示される、検出した表示態様に応じた分割パターンで配信対象の映像が分割された複数の分割映像のうち、検出した自装置の位置に対応する分割映像を受信部21に受信させる同期部22と、受信部21が受信したマニフェストファイルに基づき、受信部21が受信した分割映像を表示部に表示する再構成部23と、を備える。
そのため、配信対象を表示する端末装置20の数の変更、端末装置20の配置の変更などを端末装置20が自律的に検出し、変更後の表示態様に応じた映像を表示することができるので、より柔軟な映像の表示が可能となる。
上述の実施形態は代表的な例として説明したが、本発明の趣旨および範囲内で、多くの変更および置換が可能であることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態の構成図に記載の複数の構成ブロックを1つに組み合わせたり、あるいは1つの構成ブロックを分割したりすることが可能である。