JP2019110432A - 映像表示システム、配信装置および端末装置 - Google Patents

映像表示システム、配信装置および端末装置 Download PDF

Info

Publication number
JP2019110432A
JP2019110432A JP2017242036A JP2017242036A JP2019110432A JP 2019110432 A JP2019110432 A JP 2019110432A JP 2017242036 A JP2017242036 A JP 2017242036A JP 2017242036 A JP2017242036 A JP 2017242036A JP 2019110432 A JP2019110432 A JP 2019110432A
Authority
JP
Japan
Prior art keywords
video
unit
display
divided
terminal device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017242036A
Other languages
English (en)
Other versions
JP7054338B2 (ja
Inventor
喬輔 神戸
Kyosuke Kambe
喬輔 神戸
藤澤 和也
Kazuya Fujisawa
和也 藤澤
美加 金谷
Mika Kanaya
美加 金谷
悠 増渕
yu Masubuchi
悠 増渕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Nippon Hoso Kyokai NHK
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Hoso Kyokai NHK, Japan Broadcasting Corp filed Critical Nippon Hoso Kyokai NHK
Priority to JP2017242036A priority Critical patent/JP7054338B2/ja
Publication of JP2019110432A publication Critical patent/JP2019110432A/ja
Application granted granted Critical
Publication of JP7054338B2 publication Critical patent/JP7054338B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】複数の端末装置による表示態様に応じてより柔軟な映像の表示を可能とする。【解決手段】配信装置10は、配信対象の映像の表示態様に応じた分割パターンで配信対象の映像を分割した複数の分割映像およびマニフェストファイルを生成する分割部11と、複数の分割映像およびマニフェストファイルを端末装置20に配信する配信部12とを備え、端末装置20は、マニフェストファイル、および、複数の分割映像のうち、マニフェストファイルに基づく分割映像を受信する受信部21と、複数の端末装置20による表示態様およびその表示態様における自装置の位置を検出し、マニフェストファイルに示される、検出した表示態様に応じた分割パターンで配信対象の映像が分割された複数の分割映像のうち、検出した自装置の位置に対応する分割映像を受信部21に受信させる同期部22と、受信部22が受信した分割映像を表示部に表示する再構成部23とを備える。【選択図】図3

Description

本発明は、映像表示システム、配信装置および端末装置に関する。
8K−SHVに代表されるような超高精細な高解像度映像のコンテンツ(高解像度映像コンテンツ)が普及しつつある。このような高解像度映像コンテンツには、高い再現性が得られる、本物を見ているような立体感を視聴者に感じさせることができるといった特徴がある。
しかしながら、上記のような高解像度映像コンテンツを、ユーザが使用する、携帯電話、スマートフォン、タブレット端末などの端末装置において再生する再生環境が十分には整っていないのが現状である。例えば、映像コンテンツを視聴者に提供する方式としては、映像コンテンツを放送波で送信するBroadcasting型、映像コンテンツを端末装置で受信しつつ、受信した部分から順次再生するStreaming型、映像コンテンツ全体を端末装置で受信した後に生成するDownload型などがある。高解像度映像コンテンツは、データ容量が大きいため、上述したStreaming型の適用は困難であり、Video PodcastなどのDownload型の適用が考えられる。また、上述の受信環境を考慮すると、現状ではBroadcasting型の適用も決して容易ではない。
また、近年、端末装置の中には、2K/4Kレベルの映像を表示可能なディスプレイを備えたものもある。しかしながら、現状では、さらに高解像度の8Kレベルの映像を表示可能なディスプレイを端末装置に搭載することは、コストなどの観点から難しい。
ところで、近年の通信サービスの高速化・低価格化、および、スマートフォンなどの端末装置の普及に伴い、ユーザは、場所を問わず、各種のコンテンツを消費(閲覧)するようになっている。また、ソーシャルメディアの普及もあり、利用者のコンテンツ消費がよりパーソナルなものとなる傾向にある。このような傾向の下では、視聴者を引き付けるコンテンツの制作だけでなく、視聴者によるコンテンツの消費行動、視聴者によるコンテンツの消費環境などに適した態様でのコンテンツの提供が必要となる。
例えば、非特許文献1には、2台の端末装置(スマートフォン)で連携してコンテンツを視聴させる技術が開示されている。この技術では、一方の端末装置にはあるキャラクタの視点でのコンテンツを配信し、他方の端末装置には別のキャラクタの視点でのコンテンツを配信する。そして、この技術では、それぞれの端末装置で別々にコンテンツを視聴する場合には、2つのキャラクタが出会うことなくコンテンツが終了し、2つの端末装置を並べてコンテンツを視聴すると、2つのキャラクタが出会うという演出が施されている。
「スマホ2台を並べると瀧と三葉の"カタワレ時"を体験できる!? 「Yahoo! JAPAN」アプリで特別動画が配信開始!」、[online]、[平成29年11月22日検索]、インターネット<URL:http://www.animatetimes.com/news/details.php?id=1501043635>
非特許文献1に開示されている技術では、それぞれの端末装置でキャラクタを選択し、一方のキャラクタを選択した端末装置に、ネットワークを介してサーバから配信される番号を、他方のキャラクタを選択した端末装置に入力し、ネットワークを介してサーバに送信することで、その2台の端末装置がペアとして認識される。そして、ペアとして認識された端末装置それぞれに、選択したキャラクタに対応するコンテンツが配信される。
このように非特許文献1に開示されている技術では、配信サーバを介して2台の端末装置がペアと認識され、それぞれの端末装置に対応するコンテンツが配信される。そのため、非特許文献1に開示されている技術では、2台の端末装置が自律的に連携してコンテンツを視聴することができない。また、非特許文献1に開示されている技術では、それぞれの端末装置において選択されたキャラクタに対応するコンテンツが配信、再生される。すなわち、配信、再生されるコンテンツは、端末装置それぞれで固定である。そのため、端末装置の配置変更などに対して、柔軟に対応することができない。
上記のような問題点に鑑みてなされた本発明の目的は、複数の端末装置による映像の表示態様に応じてより柔軟な映像の表示を可能とする映像表示システム、配信装置および端末装置を提供することにある。
上記課題を解決するため、本発明に係る映像表示システムは、映像を配信する配信装置と、表示部を有する複数の端末装置とを備え、前記配信装置により配信された映像を、平面上または立体表面上に配置された前記複数の端末装置により表示する映像表示システムであって、前記配信装置は、配信対象の映像の前記複数の端末装置による表示態様に応じた異なる分割パターンで前記配信対象の映像を分割した複数の分割映像、および、前記配信対象の映像の表示態様に応じた分割パターンを含む、前記配信対象の映像の表示に関する情報を示すマニフェストファイルを生成する分割部と、前記分割部が生成した複数の分割映像および前記マニフェストファイルを前記端末装置に配信する配信部と、を備え、前記複数の端末装置はそれぞれ、前記配信装置から前記マニフェストファイル、および、前記マニフェストファイルに基づく分割映像を受信する受信部と、前記複数の端末装置による表示態様および前記表示態様における自装置の位置を検出し、前記マニフェストファイルに示される、前記検出した表示態様に応じた分割パターンで前記配信対象の映像が分割された複数の分割映像のうち、前記検出した自装置の位置に対応する分割映像を前記受信部に受信させる同期部と、前記受信部が受信したマニフェストファイルに基づき、前記受信部が受信した分割映像を前記表示部に表示する再構成部と、を備える。
また、本発明に係る映像表示システムにおいて、前記分割部は、前記分割映像が1台の端末装置で表示される映像よりも大きくなるような分割パターンで前記配信対象の映像を分割し、前記再構成部は、前記同期部が検出した自装置の位置に応じて、前記受信部が受信した分割映像における一部の映像を前記表示部に表示することが好ましい。
また、本発明に係る映像表示システムにおいて、前記同期部は、前記平面上または立体表面上での自装置の向きを検出し、前記再構成部は、前記同期部が検出した自装置の向きに応じて、前記受信部が受信した分割映像における一部の映像を前記表示部に表示することが好ましい。
また、本発明に係る映像表示システムにおいて、前記同期部は、前記配信対象の映像を表示する端末装置の台数の変更、自装置の位置の変更または自装置の回転を検出すると、前記表示態様および前記表示態様における自装置の位置を再度、検出することが好ましい。
また、上記課題を解決するため、本発明に係る配信装置は、映像を配信する配信装置であって、平面上または立体表面上に配置された、表示部を有する複数の端末装置による配信対象の映像の表示態様に応じた異なる分割パターンで前記配信対象の映像を分割した複数の分割映像、および、前記配信対象の映像の表示態様に応じた分割パターンを含む、前記配信対象の映像の表示に関する情報を示すマニフェストファイルを生成する分割部と、前記分割部が生成した複数の分割映像および前記マニフェストファイルを前記端末装置に配信する配信部と、を備える。
また、本発明に係る配信装置において、前記分割部は、前記分割映像が1台の端末装置で表示される映像よりも大きくなるような分割パターンで前記配信対象の映像を分割することが好ましい。
また、上記課題を解決するため、本発明に係る端末装置は、表示部を有する端末装置であって、平面上または立体表面上に配置された複数の端末装置による配信対象の映像の表示態様に応じた異なる分割パターンで前記配信対象の映像を分割した複数の分割映像、および、前記配信対象の映像の表示態様に応じた分割パターンを含む、前記配信対象の映像の表示に関する情報を示すマニフェストファイルを生成して配信する配信装置から、前記マニフェストファイル、および、前記複数の分割映像のうち、前記マニフェストファイルに基づく分割映像を受信する受信部と、前記複数の端末装置による表示態様および前記表示態様における自装置の位置を検出し、前記受信部が受信したマニフェストファイルに示される、前記検出した表示態様に応じた分割パターンで前記配信対象の映像が分割された複数の分割映像のうち、前記検出した自装置の位置に対応する分割映像を前記受信部に受信させる同期部と、前記受信部が受信したマニフェストファイルに基づき、前記受信部が受信した分割映像を前記表示部に表示する再構成部と、を備える。
また、本発明に係る端末装置において、前記分割映像が1台の端末装置で表示される映像よりも大きくなるような分割パターンで前記配信対象の映像が分割され、前記再構成部は、前記同期部が検出した自装置の位置に応じて、前記受信部が受信した分割映像における一部の映像を前記表示部に表示することが好ましい。
また、本発明に係る端末装置において、前記同期部は、前記平面上または立体表面上での自装置の向きを検出し、前記再構成部は、前記同期部が検出した自装置の向きに応じて、前記受信部が受信した分割映像における一部の映像を前記表示部に表示することが好ましい。
また、本発明に係る端末装置において、前記同期部は、前記映像を表示する端末装置の台数の変更、自装置の位置の変更または自装置の回転を検出すると、前記複数の端末装置による表示態様および前記表示態様における自装置の位置を再度、検出することが好ましい。
本発明に係る映像表示システム、配信装置および端末装置によれば、複数の端末装置による映像の表示態様に応じてより柔軟な映像の表示が可能となる。
本発明の一実施形態に係る映像表示システムの構成例を示す図である。 図1に示す複数の端末装置によるコンテンツの表示態様の一例を示す図である。 図1に示す配信装置および端末装置の構成例を示す図である。 図3に示す分割部による配信対象の映像の分割・解像度調整の一例を示す図である。 図3に示す分割部による配信対象の映像の分割・解像度調整の別の一例を示す図である。 図3に示す分割部による配信対象の映像の分割・解像度調整のさらに別の一例を示す図である。 図3に示す分割部による配信対象の映像の分割・解像度調整のさらに別の一例を示す図である。 図1に示す端末装置による映像の表示について説明するための図である。 図1に示す端末装置による配信対象の映像の再構成パターンの一例を示す図である。 図1に示す端末装置による配信対象の映像の再構成パターンの別の一例を示す図である。 図1に示す端末装置による配信対象の映像の再構成パターンのさらに別の一例を示す図である。 図6Aに示す再構成パターンAにおいて、各端末装置が受信する分割映像について説明するための図である。 図7Aに示す再構成パターンA2における左上端の端末装置が表示する映像について説明するための図である。 図6Bに示す再構成パターンBにおいて、各端末装置が受信する分割映像について説明するための図である。 図6Cに示す再構成パターンCにおいて、各端末装置が受信する分割映像について説明するための図である。 図1に示す複数の端末装置の縦向きと横向きとを組み合わせた配置の一例を示す図である。 図1に示す複数の端末装置の縦向きと横向きとを組み合わせた配置の他の一例を示す図である。 図1に示す端末装置の向きに応じた映像の表示の一例を示す図である。 図1に示す複数の端末装置によるコンテンツの再生状態の一例を示す図である。 図1に示す端末装置における他の端末装置との相対的な位置関係の決定に係る構成例を示す図である。 図13に示すタッチセンサのタッチ面に設けられた外縁領域の一例を示す図である。 図13に示す端末装置に対するタッチ操作が行われた状態を示す図である。 図13に示すタッチセンサのタッチ面に設けられた外縁領域の他の一例を示す図である。 図13に示す端末装置による、三次元空間での相対座標系における移動距離および移動の向きの検出について説明するための図である。 図13に示す端末装置による、第2の方法による他の端末装置との相対的な位置関係の決定方法について説明するための図である。 図13に示す端末装置による、第2の方法による他の端末装置との相対的な位置関係の検出結果の一例を示す図である。 図1に示す端末装置によるLandscape表示とPortrait表示との切り替えの一例を示す図である。
以下、本発明を実施するための形態について、図面を参照しながら説明する。各図中、同一符号は、同一または同等の構成要素を示している。
図1は、本発明の一実施形態に係る映像表示システム1の構成例を示す図である。
図1に示す映像表示システム1は、配信装置10と、複数の端末装置20とを備える。配信装置10は、複数の端末装置20それぞれと、有線通信または無線通信により、ネットワーク2を介して通信可能である。本実施形態に係る映像表示システム1は、配信装置10から配信された映像コンテンツを複数の端末装置20で表示するものである。
配信装置10は、映像コンテンツをネットワーク2を介して端末装置20に配信する。配信装置10が配信する映像コンテンツとしては、例えば、8K−SHVに代表されるような超高精細な高解像度映像のコンテンツ(高解像度映像コンテンツ)がある。
端末装置20は、携帯電話、スマートフォン、タブレット端末のような、ユーザが所有する装置である。端末装置20は、表示部を有しており、配信装置10による配信対象の映像コンテンツ(映像)を表示部で表示する。
図2は、本実施形態に係る端末装置20による配信装置10から配信された映像コンテンツの表示態様の一例を示す図である。
図2に示すように、本実施形態においては、複数の端末装置20が平面上に、表示部が閲覧可能に配置され、配信装置10による配信対象の映像コンテンツ(映像)を、複数の端末装置20により表示する。すなわち、複数の端末装置20はそれぞれ、配信対象の映像が分割された映像を表示し、全体として、配信対象の映像を利用者に閲覧させる。なお、複数の端末装置20が立体表面上に、表示部が閲覧可能に配置され、配信装置10による配信対象の映像コンテンツ(映像)を、複数の端末装置20により表示してもよい。
次に、配信装置10および端末装置20の構成について説明する。
図3は、本実施形態に係る配信装置10および端末装置20の構成例を示す図である。なお、図3においては、端末装置20の構成のうち、配信対象の映像の表示部(不図示)での表示(再生)に係る構成を中心に説明する。まず、配信装置10の構成について説明する。
図3に示す配信装置10は、分割部11と、配信部12とを備える。
分割部11は、配信対象の映像コンテンツ(例えば、高解像度映像)が入力されると、そのコンテンツを配信するための配信ファイルを生成する。具体的には、分割部11は、配信ファイルとして、配信対象の映像を分割した複数の分割映像を生成する。ここで、分割部11は、配信対象の映像を、複数の端末装置20による表示態様に応じた異なる分割パターンで分割し、分割パターンごとの複数の分割映像をまとめた分割グループ(分割グループ1,2,・・・)を生成する。複数の端末装置20による表示態様としては、配信対象の映像を表示する端末装置20の台数、複数の端末装置20の配置、端末装置20の回転に応じた表示の切り替え(Landscape表示(横向き表示)/Portrait表示(縦向き表示))の対応の有無などがある。分割部11は、種々の表示態様に応じた分割パターンで配信対象の映像を分割し、分割映像を生成する。また、分割部11は、表示態様に応じて、配信対象の映像の解像度を調整してもよい。
図4A〜図4Dは、分割部11による配信対象の映像の分割および解像度調整の例を示す図である。図4A〜図4Dにおいては、配信対象の映像の解像度をサイズで示している。
図4Aは、配信対象の映像(オリジナルの映像)は分割せず、解像度を小さくした(例えば、8Kから2Kに縮小)例を示す図である。
図4Bは、配信対象の映像を4分割した例を示す図である。図4Bにおいては、配信対象の映像の解像度を小さくした上で4分割(2×2)した例、および、配信対象の映像の解像度はそのままで4分割した例を示している。
図4Cは、配信対象の映像を9分割した例を示す図である。図4Cにおいては、配信対象の映像の解像度を小さくした上で9分割(3×3)した例を示している。なお、図4Cにおいては、配信対象の映像の解像度を小さくした上で9分割した例を示しているが、解像度はそのままで、配信対象の映像を9分割してもよい。
図4Dは、配信対象の映像を16分割した例を示す図である。図4Dにおいては、配信対象の映像の解像度はそのままで16分割(4×4)した例を示している。
図3を再び参照すると、分割部11は、配信ファイルとしてさらに、マニフェストファイルを生成する。マニフェストファイルには、配信対象の映像が分割された複数の分割映像それぞれの格納場所を示す情報(例えば、URL(Uniform Resource Locator))が含まれる。また、マニフェストファイルには、配信対象の映像の分割パターンを含む、配信対象の映像の表示(再構成)に関する情報が含まれる。
なお、分割部11は、配信対象の映像の解像度を小さくするだけでなく、配信対象の映像のサイズを大きくした上で分割してもよい。例えば、端末装置20での再構成時に、分割映像の一部だけを端末装置20の表示部で表示する、すなわち、分割映像の一部をトリミングして再生することを前提として、配信対象の映像のサイズを縦横それぞれ2倍にした上で、4分割するなどしてもよい。
配信部12は、分割部11により生成された複数の分割映像およびマニフェストファイルを端末装置20に配信する。配信方法としては、例えば、既存のポッドキャストと同様に、マニフェストファイルおよび分割映像をWebサーバで公開する方法がある。
次に、端末装置20の構成について説明する。
図3に示す端末装置20は、受信部21と、同期部22と、再構成部23とを備える。
受信部21は、ネットワーク2を介して、配信装置10が公開したマニフェストファイル、および、配信対象の映像を分割した複数の分割映像のうち、受信したマニフェストファイルに基づく分割映像を受信する。より具体的には、受信部21は、配信対象の映像を分割した複数の分割映像のうち、自装置で表示する部分に対応する分割映像を受信する。したがって、マニフェストファイルは、全ての端末装置20が受信する。一方、分割映像は、その分割映像を表示する端末装置20のみが受信する。すなわち、各端末装置20で分割映像の受信対象が異なる。したがって、各端末装置20は、配信対象の映像全体を受信する必要がないので、通信量を削減することができる。
同期部22は、任意の方法により、配信対象の映像を表示するために平面上または立体表面上に配置された複数の端末装置20による配信対象の映像の表示態様、および、その表示態様における自装置の位置(自装置と他の端末装置20との相対的な位置関係)を検出する。以下では、複数の端末装置20が平面上に配置された例を用いて説明する。
図2に示したように、配信装置10から配信されたコンテンツを視聴する際に、複数の端末装置20が平面上に格子状に配置される。同期部22は、配信対象の映像を表示する端末装置20の数、格子状の配置における自装置の位置(格子状座標)、他の端末装置20の回転に応じた表示の切り替えの対応の有無などを検出する。また、同期部22は、例えば、自装置と他の端末装置20とのローカル時刻のズレを検出する。
同期部22は、端末装置20が備える各種センサ(ジャイロセンサ、地軸センサなど)の検出結果、端末装置20への操作入力などの種々の情報を他の端末装置20と送受信する。そして、同期部22は、他の端末装置20と送受信した情報に基づき、コンテンツの表示態様、その表示態様における自装置の位置などを検出する。なお、同期部22は、他の端末装置20との近距離無線通信により、すなわち、ネットワーク2を介さずに、種々の情報を送受信する。したがって、端末装置20は、ネットワーク2にアクセスできない環境でも、複数の端末装置20による配信対象の映像の表示態様、および、その表示態様における自装置の位置などを自律的に検出することができる。
同期部22は、配信対象の映像の複数の表示端末20による表示態様および自装置の位置を検出すると、受信部21が受信したマニフェストファイルに示される、検出した表示態様に応じた分割パターンで配信対象の映像が分割された複数の分割映像のうち、検出した自装置の位置に対応する分割映像を受信部21に受信させる。また、同期部22は、検出した表示態様および自装置の位置を再構成部23に出力する。
なお、同期部22は、自装置の位置変更および回転、また、コンテンツを再生する端末装置20の追加などを検出すると、受信部21および再構成部23に再処理を要求する。こうすることで、表示態様に変更があった場合にも、自律的に変更後の表示態様に合わせて配信対象の映像を表示することができる。
再構成部23は、受信部21が受信したマニフェストファイルに基づき、同期部22が検出した表示態様に応じて、受信部21が受信した分割画像を、拡大・縮小するなどして表示部に表示する。また、再構成部23は、所定の操作入力により、コンテンツの再生・停止・一時停止などを行う。また、再構成部23は、自装置あるいは他の端末装置20の位置変更および回転、また、コンテンツを再生する端末装置20の追加などにより再処理が要求されると、変更後の表示態様に応じた映像を表示部に表示させる。
次に、本実施形態に係る映像表示システム1における配信装置10および端末装置20の動作について説明する。
図5は、本実施形態に係る端末装置20による配信対象の映像の表示について説明するための図である。図5においては、配信対象の映像が8Kの映像であるものとして説明する。
配信装置10は、配信対象の映像(8Kの映像)の解像度を下げた映像(2Kの映像)、配信対象の映像を4分割した分割映像(4K×4)、配信対象の映像を16分割した分割映像(2K×16)などを予め生成しておく。
端末装置20は、配信対象の映像を1台で表示する場合には、例えば、図5に示すように、配信対象の映像の解像度を下げた映像を表示する。
配信対象の映像を表示する端末装置20が1台追加され、例えば、図5に示すように、縦方向に隣接して2台の端末装置20が配置されると、2台の端末装置20はそれぞれ、配信対象の映像の表示態様(配信対象の映像を表示する台数およびその配置)、自装置と他の端末装置20との位置関係などを検出し、検出した表示態様に対応する分割パターンで分割された分割映像(4分割された分割映像)のうち、自装置の位置に対応する分割映像を受信し、表示部に表示する。
さらに、図5に示すように、配信対象の映像を表示する端末装置20が3台追加されると、5台の端末装置20はそれぞれ、配信対象の映像の表示態様、自装置と他の端末装置20との位置関係などを検出し、検出した表示態様に対応する分割パターンで分割された分割映像(16分割された分割映像)のうち、自装置の位置に対応する分割映像を受信し、表示部に表示する。
このように、配信装置10は、配信対象の映像の表示態様に応じた異なる分割パターンで配信対象の映像を分割した複数の分割映像を生成する。端末装置20は、配信対象の映像を複数の端末装置20で表示する表示態様およびその表示態様における自装置の位置を検出し、検出した表示態様に応じた分割パターンで配信対象の映像が分割された複数の分割映像のうち、自装置の位置に対応する分割映像を受信して表示する。そのため、サーバ装置などを介さずに、複数の端末装置20による配信対象の映像の表示態様に応じてより柔軟な映像の表示が可能となる。
図6A〜図6Cは、端末装置20の数に応じた配信対象の映像の再構成パターンの例を示す図である。
図6Aに示す再構成パターン(再構成パターンA)では、配信対象の映像を表示する端末装置20の台数が1台の場合には、端末装置20は、分割されていない配信対象の映像を表示する。配信対象の映像を表示する端末装置20の台数が2−4台である場合には、2×2の格子状配置の表示態様で、各端末装置20が、自装置の位置に対応する分割映像を表示する。また、配信対象の映像を表示する端末装置20の台数が5−16台である場合には、4×4の格子状配置の表示態様で、各端末装置20が、自装置の位置に対応する分割映像を表示する。
図6Bに示す再構成パターン(再構成パターンB)では、配信対象の映像を表示する端末装置20の台数が1台の場合には、端末装置20は、分割されていない配信対象の映像を表示する。配信対象の映像を表示する端末装置20の台数が2−4台である場合には、2×2の格子状配置の表示態様で、各端末装置20が、自装置の位置に対応する分割映像を表示する。また、配信対象の映像を表示する端末装置20の台数が5−9台である場合には、3×3の格子状配置の表示態様で、各端末装置20が、自装置の位置に対応する分割映像を表示する。また、配信対象の映像を表示する端末装置20の台数が10−16台である場合には、4×4の格子状配置の表示態様で、各端末装置20が、自装置の位置に対応する分割映像を表示する。
図6Cに示す再構成パターン(再構成パターンC)では、配信対象の映像を表示する端末装置20の台数が1台の場合には、端末装置20は、分割されていない配信対象の映像を表示する。配信対象の映像を表示する端末装置20の台数が2−16台である場合には、4×4の格子状配置の表示態様で、各端末装置20が、自装置の位置に対応する分割映像を表示する。
このように、配信対象の映像を表示する端末装置20の台数が同じであっても、種々の再構成パターンを設定することができる。分割部11は、マニフェストファイルにおいて、配信対象の映像の分割パターンと共に、配信対象の映像の再構成パターンを指定する。こうすることで、配信側において、所望の再構成パターンで配信対象の映像を表示させることができる。
また、同じ再構成パターンであっても、各端末装置20が受信する分割映像が異なるようにしてもよい。以下では、同じ再構成パターンでも、各端末装置20が受信する分割映像が異なる場合について、説明する。
図7Aは、再構成パターンとして、図6Aを参照して説明した再構成パターンAを用いる場合の、各端末装置20が受信する分割映像を示す図である。図7Aにおいては、配信対象の映像の解像度が下げられた映像と、配信対象の映像を4分割した分割映像と、配信対象の映像を16分割した分割映像とが用意されているとする。また、以下では、再構成パターンの各矩形は、各端末装置20を示しており、各矩形に付された番号は、その矩形に対応する端末装置20が受信する分割映像を示すものとする。
図6Aを参照して説明したように、再構成パターンAでは、配信対象の映像を表示する端末装置20の台数が2−4台の場合には、2×2の格子状配置の表示態様で、各端末装置20が、自装置の位置に対応する分割映像を表示する。また、配信対象の映像を表示する端末装置20の台数が5−16台の場合には、4×4の格子状配置の表示態様で、各端末装置20が、自装置の位置に対応する分割映像を表示する。
再構成パターンA1では、図7Aに示すように、配信対象の映像を表示する端末装置20の台数が2−4台の場合には、各端末装置20は、2×2の格子状配置の表示態様で、配信対象の映像が4分割された分割映像の中から、2×2の格子状配置における自装置の位置に対応する分割映像を表示する。また、配信対象の映像を表示する端末装置20の台数が5−16台の場合には、各端末装置20は、4×4の格子状配置の表示態様で、配信対象の映像が16分割された分割映像の中から、4×4の格子状配置における自装置の位置に対応する分割映像を表示する。
再構成パターンA2では、図7Aに示すように、配信対象の映像を表示する端末装置20の台数が2−4台の場合には、各端末装置20は、2×2の格子状配置の表示態様で、配信対象の映像が4分割された分割映像の中から、2×2の格子状配置における自装置の位置に対応する分割映像を表示する。
また、配信対象の映像を表示する端末装置20の台数が5−16台の場合には、各端末装置20は、4×4の格子状配置の表示態様で、配信対象の映像が4分割された分割映像の中から、4×4の格子状配置における自装置の位置に対応する分割映像を表示する。すなわち、端末装置20は、例えば、自装置の位置が、4×4の格子状配置のうち、左上の4台分の位置に当たる場合には、配信対象の映像が4分割された分割映像のうち、右上の分割映像2を受信する。そして、端末装置20は、例えば、自装置の位置が、4×4の格子状配置の内、左上端の位置に当たる場合には、図7Bに示すように、受信した分割映像2のうち、左上の4分の1の部分の映像2Aを表示する。
図8は、再構成パターンとして、図6Bを参照して説明した再構成パターンBを用いる場合の、各端末装置20が受信する分割映像を示す図である。図8においては、配信対象の映像の解像度が下げられた映像と、配信対象の映像を4分割した分割映像と、配信対象の映像を9分割した分割映像と、配信対象の映像を16分割した分割映像とが用意されているとする。
図6Bを参照して説明したように、再構成パターンBでは、配信対象の映像を表示する端末装置20の台数が2−4台の場合には、2×2の格子状配置の表示態様で、各端末装置20が、自装置の位置に対応する分割映像を表示する。また、配信対象の映像を表示する端末装置20の台数が5−9台の場合には、3×3の格子状配置の表示態様で、各端末装置20が、自装置の位置に対応する分割映像を表示する。また、配信対象の映像を表示する端末装置20の台数が10−16台の場合には、4×4の格子状配置の表示態様で、各端末装置20が、自装置の位置に対応する分割映像を表示する。
再構成パターンB1では、図8に示すように、配信対象の映像を表示する端末装置20の台数が2−4台の場合には、各端末装置20は、2×2の格子状配置の表示態様で、配信対象の映像が4分割された分割映像の中から、2×2の格子状配置における自装置の位置に対応する分割映像を表示する。また、配信対象の映像を表示する端末装置20の台数が5−9台の場合には、各端末装置20は、3×3の格子状配置の表示態様で、配信対象の映像が9分割された分割映像の中から、3×3の格子状配置における自装置の位置に対応する分割映像を表示する。また、配信対象の映像を表示する端末装置20の台数が10−16台の場合には、各端末装置20は、4×4の格子状配置の表示態様で、配信対象の映像が16分割された分割映像の中から、4×4の格子状配置における自装置の位置に対応する分割映像を表示する。
再構成パターンB2では、図8に示すように、配信対象の映像を表示する端末装置20の台数が2−4台の場合には、各端末装置20は、2×2の格子状配置の表示態様で、配信対象の映像が4分割された分割映像の中から、2×2の格子状配置における自装置の位置に対応する分割映像を表示する。
また、配信対象の映像を表示する端末装置20の台数が5−9台の場合には、左上端、右上端、左下端、右下端に位置する端末装置20は、配信対象の映像が4分割された分割映像の中から、それぞれ対応する位置の分割映像を受信する。すなわち、左上端の端末装置20は、配信対象の映像が4分割された分割映像のうち、左上の分割映像2を受信する。また、右上端の端末装置20は、配信対象の映像が4分割された分割映像のうち、右上の分割映像3を受信する。また、左下端の端末装置20は、配信対象の映像が4分割された分割映像のうち、左下の分割映像4を受信する。また、右下端の端末装置20は、配信対象の映像が4分割された分割映像のうち、右下の分割映像5を受信する。また、その他の端末装置20は、3×3の格子状配置の表示態様で、配信対象の映像が9分割された分割映像の中から、3×3の格子状配置における自装置の位置に対応する分割映像を表示する。左上端、右上端、左下端、右下端に位置する端末装置20はそれぞれ、図7Bと同様に、受信した分割映像のうち、自装置の位置に応じた一部の映像を表示部に表示する。
また、配信対象の映像を表示する端末装置20の台数が10−16台の場合には、各端末装置20は、4×4の格子状配置の表示態様で、配信対象の映像が4分割された分割映像の中から、4×4の格子状配置における自装置の位置に対応する分割映像を表示する。すなわち、端末装置20は、例えば、自装置の位置が、4×4の格子状配置のうち、左上の4台分の位置に当たる場合には、配信対象の映像が4分割された分割映像のうち、左上の分割映像2を受信する。そして、端末装置20は、例えば、自装置の位置が、4×4の格子状配置の内、左上端の位置に当たる場合には、図7Bと同様に、受信した分割映像のうちの一部(左上の4分の1の部分)の映像を表示部に表示する。
図9は、再構成パターンとして、図6Cを参照して説明した再構成パターンCを用いる場合の、各端末装置20が受信する分割映像を示す図である。図9においては、配信対象の映像の解像度が下げられた映像と、配信対象の映像を4分割した分割映像と、配信対象の映像を16分割した分割映像とが用意されているとする。
図6Cを参照して説明したように、再構成パターンCでは、配信対象の映像を表示する端末装置20の台数が2−16台の場合には、4×4の格子状配置の表示態様で、各端末装置20が、自装置の位置に対応する分割映像を表示する。
再構成パターンC1では、図9に示すように、配信対象の映像を表示する端末装置20の台数が2−16台の場合には、各端末装置20は、4×4の格子状配置の表示態様で、配信対象の映像が16分割された分割映像の中から、4×4の格子状配置における自装置の位置に対応する分割映像を表示する。
再構成パターンC2では、図9に示すように、配信対象の映像を表示する端末装置20の台数が2−16台の場合には、各端末装置20は、4×4の格子状配置の表示態様で、配信対象の映像が4分割された分割映像の中から、4×4の格子状配置における自装置の位置に対応する分割映像を表示する。すなわち、端末装置20は、例えば、自装置の位置が、4×4の格子状配置のうち、左上の4台分の位置に当たる場合には、配信対象の映像が4分割された分割映像のうち、左上の分割映像2を受信する。そして、端末装置20は、例えば、自装置の位置が、4×4の格子状配置の内、左上端の位置に当たる場合には、図7Bと同様に、受信した分割映像のうちの一部(左上の4分の1の部分)の映像を表示部に表示する。
図7Aを参照して説明したように、再構成パターンA2では、配信対象の映像を表示する端末装置20の台数が5−16台である場合には、配信対象の映像が4分割された分割映像が用いられる。また、図8を参照して説明したように、再構成パターンB2では、配信対象の映像を表示する端末装置20の台数が10−16台である場合には、配信対象の映像が4分割された分割映像が用いられる。また、再構成パターンC2では、映像を表示する端末装置20の台数が2−16台である場合には、配信対象の映像が4分割された分割映像が用いられる。すなわち、これらの再構成パターンA2,B2,C2では、配信対象の映像を16分割した分割映像を用意する必要がない。したがって、分割部11が生成する分割グループを減らし、処理負荷、分割映像を記憶する記憶容量などの削減を図ることができる。
このように、分割部11は、配信対象の映像を表示する端末装置20の台数よりも少ない分割数で配信対象の映像を分割してもよい。すなわち、分割部11は、分割映像が1台の端末装置20で表示される映像よりも大きくなるような分割パターンで配信対象の映像を分割してもよい。この場合、再構成部23は、同期部22が検出した自装置の位置に応じて、受信部21が受信した分割映像における一部の映像を表示部に表示する。すなわち、再構成部23は、受信部21が受信した分割映像の一部をトリミングして表示部に表示する。こうすることで、分割部11が生成する分割グループの数を減らすことができる。
なお、例えば、図9に示す再構成パターンC2の場合、端末装置20は、自装置で映像を表示するサイズの4倍のサイズの分割映像を受信する。端末装置20は、その4倍のサイズの分割映像のトリミングを行う。この場合、端末装置20は、Landscape表示(横向き表示)を行うために横向きに配置するだけでなく、Portrait表示(縦向き表示)を行うために縦向きに配置することも可能である。したがって、図10A,10Bに示すように、縦向きの端末装置20と横向きの端末装置20とを組み合わせて配置して、配信対象の映像を表示することも可能である。なお、図10Aにおいては、配信対象の映像を表示する端末装置20の台数が4台である例を示している。また、図10Bにおいては、配信対象の映像を表示する端末装置20の台数が10台である例を示している。
また、分割映像が1台の端末装置20で表示される映像よりも大きくなるような分割パターンで配信対象の映像が分割されている場合、再構成部23は、同期部22が検出した自装置の向きに応じて、受信部21が受信した分割映像における一部の映像を表示部に表示するようにしてもよい。すなわち、再構成部23は、図11に示すように、端末装置20が横向きの場合には(Landscape表示を行う場合には)、分割映像のうち、横向き(横長)の一部の映像(斜線を付した部分)を表示部に表示し、端末装置20が縦向きの場合には(Portrait表示を行う場合には)、縦向き(縦長)の一部の映像(斜線を付した部分)を表示部に表示視してもよい。
また、分割部11が生成するマニフェストファイルには、図12に示すように、配信されたコンテンツを表示する複数の端末装置20のうち、その複数の端末装置20による表示態様における特定の位置の端末装置20に音声出力をさせるような指示が含まれていてもよい。図12の例では、4×4の格子状に配置された端末装置20のうち、左上端の端末装置20と、左から三番目上から三番目の端末装置20とが音声出力をしている例を示している。
次に、端末装置20による、自装置と他の端末装置20との相対的な位置関係の決定方法について説明する。
図13は、端末装置20における、他の端末装置20との相対的な位置関係の決定に係る構成例を示す図である。
図13に示す端末装置20は、検出部24と、共有部25と、決定部26とを備える。検出部24、共有部25および決定部26は、例えば、同期部22を構成する。
検出部24は、端末装置20が備えるタッチセンサ27、種々のセンサからなるセンサ部28およびカメラ部29などを用いて、自装置と他の端末装置20との相対的な位置関係を決定するために利用可能な情報、自装置での配信対象の映像の表示に関する情報など種々の情報(以下、準備情報と称する)を収集する。ここで、検出部24は、ネットワーク2へのアクセスを必須とせずに自装置で収集可能な範囲で準備情報を収集する。
検出部24が収集する情報としては、自装置のローカル時刻、自装置が備える表示部の画面サイズ、自装置の向く方位など種々の情報が含まれる。検出部24は、収集した準備情報を共有部25に出力する。
共有部25は、他の端末装置20と、Wifi(登録商標)、Bluetooth(登録商標)などの近距離無線通信を行い、グループを構成する。ここで、共有部25は、ネットワーク2に接続された外部サーバなどを介さずに、近距離無線通信により通信可能な他の端末装置20とグループを構成する。共有部25は、検出部24から出力された準備情報をグループを構成する他の端末装置20に送信するとともに、グループを構成する他の端末装置20から準備情報を受信する。すなわち、共有部25は、グループを構成する他の端末装置20と準備情報を共有する。以下では、グループを構成する端末装置20間で共有された準備情報の集合を、相互位置情報と称することがある。共有部25は、相互位置情報を決定部26に出力する。また、共有部25は、検出部24により自装置の位置の変更、自装置の回転などが検出される(準備情報が更新される)と、更新後の準備情報を他の端末装置20と共有して、相互位置情報を更新する。
なお、共有部25は、予め定められた事前ルールに基づき、準備情報の共有処理を制限してもよい。例えば、共有部25は、N台以上での準備情報の共有を認めない、表示部の画面サイズ、アスペクト比などが異なる端末装置20との共有を認めない、などの制限を加えてもよい。また、共有部25は、準備情報の変更の有無の検知の頻度を調整してもよい。
決定部26は、共有部25から出力された相互位置情報に基づき、グループを構成する他の端末装置20との間で同期をとる。また、決定部26は、共有部25から出力された相互位置情報に基づき、自装置とともにグループを構成する他の端末装置20との相対的な位置関係(自装置の位置(格子状座標))を決定する。
決定部26は、例えば、グループへの追加の順序、各端末装置20のローカル時刻の中央値などに基づき同期の基準となる端末装置20を決定し、その基準となる端末装置20のローカル時刻と自装置のローカル時刻との差分をとるなどして、グループを構成する他の端末装置20との間で同期をとる。
次に、決定部26による他の端末装置20との相対的な位置関係の決定方法について説明する。
他の端末装置20との相対的な位置関係の決定方法の1つとして、端末装置20が備えるタッチセンサ27のタッチ面へのタッチ操作を用いる方法(第1の方法)がある。また、別の決定方法として、端末装置20が備える種々のセンサからなるセンサ部28およびカメラ部29を用いる方法(第2の方法)がある。近年、スマートフォン、タブレット端末などの端末装置20の多くには、指、スタイラスペンなどによるタッチ面に対するタッチ操作によるタッチ位置を検出するタッチセンサ27が搭載されている。決定部26は、このタッチ面へのタッチ操作に基づき、自装置の位置を決定することができる。また、近年、スマートフォン、タブレット端末などの端末装置20の多くには、端末装置20の姿勢の検出などに用いられる種々のセンサからなるセンサ部28およびカメラ部29が搭載されている。決定部26は、センサ部28の検出結果およびカメラ部29により撮像された撮影画像に基づき、自装置の位置を決定することができる。以下では、まず第1の方法について説明する。
第1の方法では、検出部24は、タッチセンサ27のタッチ面に対するタッチ操作によるタッチを検出する。そして、検出部24は、タッチ位置をスライドさせるスライド操作により、タッチ面内において、タッチ面の外縁に沿って設定された複数の外縁領域の少なくとも1つがタッチされた場合、タッチされた外縁領域およびその外縁領域へのタッチのタイミング(時刻など)を示すセンサ情報を生成し、共有部25に出力する。
図14は、端末装置20が備えるタッチ面27aにおける外縁領域の設定の一例を示す図である。
通常、タッチ面27aは、端末装置20が備える表示部に重畳して設けられており、その形状は矩形(長方形)であることが一般的である。外縁領域は、タッチ面27a内において、タッチ面27aの外縁に沿って複数設定されている。図14においては、タッチ面27aの上端に沿って外縁領域27T(Top)が設定され、タッチ面27aの右端に沿って外縁領域27R(Right)が設定され、タッチ面27aの下端に沿って外縁領域27B(Bottom)が設定され、タッチ面27aの左端に沿って外縁領域27L(Left)が設けられている例を示している。
図15は、複数の端末装置20が平面上に配置され、隣接する端末装置20に跨るようにタッチ操作が行われた状態を示す図である。図15においては、端末装置20−1〜20−4が横向きに、2×2の格子状に配置されているとする。そして、左上に配置された端末装置20−1から左下に配置された端末装置20−3に跨るタッチ操作(タッチ操作1)、左上に配置された端末装置20−1から右上に配置された端末装置20−2に跨るタッチ操作(タッチ操作2)、および、右上に配置された端末装置20−2から右下に配置された端末装置20−4に跨るタッチ操作(タッチ操作3)が行われたとする。
タッチ操作1により、端末装置20−1の検出部24は、外縁領域27Lがタッチされたこと、および、外縁領域27Lがタッチされたタイミングを示すセンサ情報を生成する。また、端末装置20−3の検出部24は、外縁領域27Rがタッチされたこと、および、外縁領域27Rがタッチされたタイミングを示すセンサ情報を生成する。ここで、端末装置20−3の検出部24が生成するセンサ情報に示されるタイミング(外縁領域27Rがタッチされたタイミング)は、端末装置20−1の検出部24が生成するセンサ情報に示されるタイミング(外縁領域27Lがタッチされたタイミング)の直後である。したがって、これらのセンサ情報から、端末装置20−1,20−3が、端末装置20−1の左端と端末装置20−3の右端とが接するように配置されていることが分かる。
タッチ操作2により、端末装置20−1の検出部24は、外縁領域27Bがタッチされたこと、および、外縁領域27Bがタッチされたタイミングを示すセンサ情報を生成する。また、端末装置20−2の検出部24は、外縁領域27Tがタッチされたこと、および、外縁領域27Tがタッチされたタイミングを示すセンサ情報を生成する。ここで、端末装置20−2の検出部24が生成するセンサ情報に示されるタイミング(外縁領域27Tがタッチされたタイミング)は、端末装置20−1の検出部24が生成するセンサ情報に示されるタイミング(外縁領域27Bがタッチされたタイミング)の直後である。したがって、これらのセンサ情報から、端末装置20−1,20−2が、端末装置20−1の下端と端末装置20−2の上端とが接するように配置されていることが分かる。
タッチ操作3により、端末装置20−2の検出部24は、外縁領域27Lがタッチされたこと、および、外縁領域27Lがタッチされたタイミングを示すセンサ情報を生成する。また、端末装置20−4の検出部24は、外縁領域27Rがタッチされたこと、および、外縁領域27Rがタッチされたタイミングを示すセンサ情報を生成する。ここで、端末装置20−4の検出部24が生成するセンサ情報に示されるタイミング(外縁領域27Rがタッチされたタイミング)は、端末装置20−2の検出部24が生成するセンサ情報に示されるタイミング(外縁領域27Lがタッチされたタイミング)の直後である。したがって、これらのセンサ情報から、端末装置20−2,20−4が、端末装置20−2の左端と端末装置20−4の右端とが接するように配置されていることが分かる。
このように、検出部24は、各端末装置20のタッチ面27aの外縁に沿って設定された複数の外縁領域のいずれかがタッチされると、タッチされた外縁領域およびその外縁領域がタッチされたタイミングを示すセンサ情報を生成する。共有部25は、検出部24が生成したセンサ情報を他の端末装置20に送信すると共に、他の端末装置20からセンサ情報を受信する。そして、決定部26は、共有部25が他の端末装置20との間で送受信したセンサ情報に基づき、自装置と他の端末装置20との相対的な位置関係を決定する。
第1の方法では、各端末装置20へのタッチ操作(隣接する端末装置20に跨るスライド操作)だけで、端末装置20間の位置関係を決定することができる。したがって、ネットワーク2に接続された外部サーバなどを用いることなく、端末装置20が自律的に、自装置と他の端末装置20との相対的な位置関係を決定することができる。
なお、図14においては、タッチ面27aの四辺にそれぞれ、1つの外縁領域を設ける例を用いて説明したが、これに限られるものではない。タッチ面の四辺の少なくとも一辺に沿って複数の外縁領域を設定してもよい。
図16は、タッチ面27aの一辺に複数の外縁領域を設定した例を示す図である。図16においては、端末装置20−5のタッチ面27aの右端に沿って、2つの外縁領域27RT,27RDが設定されている例を示している。外縁領域27RTは、タッチ面27a内において、タッチ面27aの右端に沿って、タッチ面27aの上端から下端に向かって、略半分の位置まで延在する。また、外縁領域27RDは、タッチ面27aにおいて、タッチ面の右端に沿って、タッチ面27aの下端から上端に向かって、略半分の位置まで延在する。
図16に示すように、端末装置20−5は縦向きに配置され、端末装置20−6は横向きに、端末装置20−6の下端が端末装置20−5の右端下側に接するように配置されている場合に、端末装置20−5から端末装置20−6に跨るようにスライド操作が行われたとする。この場合、端末装置20−5の検出部24は、外縁領域27RDがタッチされたこと、および、外縁領域27RDがタッチされたタイミングを示すセンサ情報を生成する。また、端末装置20−6の検出部24は、外縁領域27Tがタッチされたこと、および、外縁領域27Tがタッチされたタイミングを示すセンサ情報を生成する。ここで、端末装置20−6の検出部24が生成するセンサ情報に示されるタイミング(外縁領域27Tがタッチされたタイミング)は、端末装置20−5の検出部24が生成するセンサ情報に示されるタイミング(外縁領域27RDがタッチされたタイミング)の直後である。したがって、これらのセンサ情報から、端末装置20−5,20−6が、端末装置20−5の右端下側と端末装置20−4の上端とが接するように配置されていることが分かる。
このように、タッチ面27aの一辺に沿って複数の外縁領域を設けることで、他の端末装置20との相対的な位置関係をより正確に検出することができる。
次に、第2の方法について説明する。
上述したように、スマートフォン、タブレット端末などの端末装置20の多くには、端末装置20の姿勢などを検出するために、加速度センサ、ジャイロセンサ、地磁気センサなどの各種のセンサが搭載されている。そして、近年、端末装置20の中には、これらのセンサを利用して、図17に示すように、仮想的に三次元空間での相対座標系を設定し、その相対座標系の原点(基準位置)からの端末装置20の移動距離および移動の向きを検出する機能を備えるものがある。検出部24は、端末装置20が備えるセンサ部28の検出結果から、三次元空間での相対座標系における端末装置20の移動距離および移動の向きをセンサ情報として検出する。第2の方法においては、端末装置20は、このセンサ情報を他の端末装置20と交換することで、自装置と他の端末装置20との相対的な位置関係を検出する。このとき、各端末装置20で相対座標系の軸がずれないように地磁気センサなどを用いて、座標軸を揃えておく必要がある。
具体的には、まず、ユーザにより、図18に示すように、2台の端末装置20−7,20−8が、表示部が上方向を向くようにして重ね合わされる。近年の端末装置20の多くには、表示部がユーザに向けられた状態で、ユーザに向かって配置されたカメラ(フロントカメラ)が搭載されている。したがって、下側の端末装置20−7のカメラ部29は、上側の端末装置20−8により覆われる。そのため、端末装置20−7のカメラ部29により撮像された撮影画像は、暗くなる。端末装置20−7の検出部24は、カメラ部29により撮像された撮影画像より、自装置の上側に他の端末装置20が重ね合わせられたことを検出する。すなわち、端末装置20−7の検出部24は、端末装置20の一面に配置されたカメラ部29により撮像された撮影画像に基づき、端末装置20の一面(カメラ部29が配置された面)に他の端末装置20が重ね合わされたことを検出する。
端末装置20−7は、自装置の上側に他の端末装置20が重ね合わせられたことを検出すると、例えば、その旨を近距離無線通信により付近の端末装置20に通知する。上側の端末装置20−8の検出部24は、下側の端末装置20−7から他の端末装置20が上側に重ね合わせられた旨の通知を受けると、その通知の前後でセンサ部28の検出結果から自装置が移動していると判定した場合には、自装置が端末装置20−7の上側に重ね合わせられたと検出する。また、端末装置20−8の検出部24は、所定の操作(例えば、タッチ面へのタッチ操作)の入力により、自装置が端末装置20−7の上側に重ね合わせられたことを検出してもよい。
共有部25は、自装置と他の端末装置20とが重ね合わせられたことを検出すると(自装置と他の端末装置20との重ね合わせに応じて)、その他の端末装置20と近距離無線通信を行い、検出部24で設定された三次元空間での相対座標系に関する情報を送受信して、三次元空間での相対座標系を一致させる(原点を一致させる)。例えば、上側の端末装置20の共有部25が、自装置において設定されている三次元空間での相対座標系を、下側の端末装置20において設定されている三次元空間での相対座標系に一致させる。
端末装置20−8の決定部26は、図18に示すように、下側の端末装置20−7との三次元空間での相対座標の一致後に、端末装置20−8が移動すると、検出部24により検出された自装置の移動距離および移動方向に基づき、下側に配置された他の端末装置20−7との相対的な位置関係を決定する。
すなわち、第2の方法においては、各端末装置20は、自装置が備える各種センサにより相対座標系を算出(設定)する。次に、各端末装置20は、地磁気センサなどを用いて、設定した相対座標系の軸をそろえる。次に、端末装置20同士の重ね合わせにより、設定した座標系の原点を重ね合わせられた端末装置20間で一致させる。次に、端末装置20は、自装置が移動すると、設定した相対座標系での位置(移動方向および移動距離)を検出する。
決定部26は、予め定められた事前ルールに基づき、配信対象の映像を表示する端末装置20の数に対応する座標数に応じた格子状配置における自装置の位置(座標)を決定する。事前ルールとしては、例えば、図19に示すように、最大で16台の端末装置20で配信対象の映像が表示される場合に、グループを構成する端末装置20の数が16台に満たなければ、できるだけ配信対象の映像の中央部分の分割映像が表示されるように、自装置の位置を決定するというルールが考えられる。なお、決定部26は、例えば、グループを構成する端末装置20の数を、配信対象の映像を表示する端末装置20として、自装置の位置を決定する。また、グループを構成する端末装置20の数は、ユーザにより端末装置20に入力されてもよい。
また、決定部26は、所定の操作入力、例えば、タッチ面27aへのタッチ操作により、自装置が他の端末装置20とともに形成するグループから除外されたと判定してもよい。また、決定部26は、検出部24の検出結果から、自装置が他の端末装置20と共に配置された平面から所定距離以上離れたことを検出すると、自装置が他の端末装置20とともに形成するグループから除外されたと判定してもよい。なお、第1の方法においても、決定部26は、同様にして、所定の操作入力、自装置が他の端末装置20と共に配置された平面上または立体表面上から所定距離以上離れたことなどに基づき、グループから除外されたと判定してもよい。
また、端末装置20の配置方法として、Landscape表示を行う横向きの配置およびPortrait表示を行う縦向きの配置のいずれか一方に固定してもよい。また、配信対象の映像を表示する端末装置20の数に応じて、Landscape表示を行う端末装置20の数と、Portrait表示を行う端末装置20の数とを変動させてもよい。
また、各端末装置20ごとに、Landscape表示およびPortrait表示のいずれか一方、あるいは、Landscape表示およびPortrait表示の両方を行わせるかを、事前ルールとして予め決めておいてもよい。Landscape表示およびPortrait表示の両方を行う場合、例えば、図20に示すように、端末装置20は、Landscape表示を行うか、Portrait表示を行うかに応じて、分割映像のうち、異なる部分を表示部に表示するようにしてもよい。
このように本実施形態によれば、映像表示システム1は、映像を配信する配信装置10と、表示部を有する複数の端末装置20とを備え、配信装置10により配信された映像を、平面上または立体表面上に配置された複数の端末装置20により表示する。配信装置10は、配信対象の映像の複数の端末装置20による表示態様に応じた異なる分割パターンで配信対象の映像を分割した複数の分割映像、および、配信対象の映像の表示態様に応じた分割パターンを含む、配信対象の映像の表示に関する情報を示すマニフェストファイルを生成する分割部11と、分割部11が生成した複数の分割映像およびマニフェストファイルを端末装置20に配信する配信部12とを備える。複数の端末装置20はそれぞれ、配信装置10からマニフェストファイル、および、複数の分割映像のうち、マニフェストファイルに基づく分割映像を受信する受信部21と、複数の端末装置20による表示態様および表示態様における自装置の位置を検出し、受信部21が受信したマニフェストファイルに示される、検出した表示態様に応じた分割パターンで配信対象の映像が分割された複数の分割映像のうち、検出した自装置の位置に対応する分割映像を受信部21に受信させる同期部22と、受信部21が受信したマニフェストファイルに基づき、受信部21が受信した分割映像を表示部に表示する再構成部23と、を備える。
そのため、配信対象を表示する端末装置20の数の変更、端末装置20の配置の変更などを端末装置20が自律的に検出し、変更後の表示態様に応じた映像を表示することができるので、より柔軟な映像の表示が可能となる。
上述の実施形態は代表的な例として説明したが、本発明の趣旨および範囲内で、多くの変更および置換が可能であることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態の構成図に記載の複数の構成ブロックを1つに組み合わせたり、あるいは1つの構成ブロックを分割したりすることが可能である。
1 映像表示システム
2 ネットワーク
10 配信装置
11 分割部
12 配信部
20,20−1〜20−8 端末装置
21 受信部
22 同期部
23 再構成部
24 検出部
25 共有部
26 決定部
27 タッチセンサ
27a タッチ面
27T,27R,27B,27L,27RT,27RD 外縁領域
28 センサ部
29 カメラ部

Claims (10)

  1. 映像を配信する配信装置と、表示部を有する複数の端末装置とを備え、前記配信装置により配信された映像を、平面上または立体表面上に配置された前記複数の端末装置により表示する映像表示システムであって、
    前記配信装置は、
    配信対象の映像の前記複数の端末装置による表示態様に応じた異なる分割パターンで前記配信対象の映像を分割した複数の分割映像、および、前記配信対象の映像の表示態様に応じた分割パターンを含む、前記配信対象の映像の表示に関する情報を示すマニフェストファイルを生成する分割部と、
    前記分割部が生成した複数の分割映像および前記マニフェストファイルを前記端末装置に配信する配信部と、を備え、
    前記複数の端末装置はそれぞれ、
    前記配信装置から前記マニフェストファイル、および、前記複数の分割映像のうち、前記マニフェストファイルに基づく分割映像を受信する受信部と、
    前記複数の端末装置による表示態様および前記表示態様における自装置の位置を検出し、前記マニフェストファイルに示される、前記検出した表示態様に応じた分割パターンで前記配信対象の映像が分割された複数の分割映像のうち、前記検出した自装置の位置に対応する分割映像を前記受信部に受信させる同期部と、
    前記受信部が受信したマニフェストファイルに基づき、前記受信部が受信した分割映像を前記表示部に表示する再構成部と、を備えることを特徴とする映像表示システム。
  2. 請求項1に記載の映像表示システムにおいて、
    前記分割部は、前記分割映像が1台の端末装置で表示される映像よりも大きくなるような分割パターンで前記配信対象の映像を分割し、
    前記再構成部は、前記同期部が検出した自装置の位置に応じて、前記受信部が受信した分割映像における一部の映像を前記表示部に表示することを特徴とする映像表示システム。
  3. 請求項2に記載の映像表示システムにおいて、
    前記同期部は、前記平面上または立体表面上での自装置の向きを検出し、
    前記再構成部は、前記同期部が検出した自装置の向きに応じて、前記受信部が受信した分割映像における一部の映像を前記表示部に表示することを特徴とする映像表示システム。
  4. 請求項1から3のいずれか一項に記載の映像表示システムにおいて、
    前記同期部は、前記配信対象の映像を表示する端末装置の台数の変更、自装置の位置の変更または自装置の回転を検出すると、前記表示態様および前記表示態様における自装置の位置を再度、検出することを特徴とする映像表示システム。
  5. 映像を配信する配信装置であって、
    平面上または立体表面上に配置された、表示部を有する複数の端末装置による配信対象の映像の表示態様に応じた異なる分割パターンで前記配信対象の映像を分割した複数の分割映像、および、前記配信対象の映像の表示態様に応じた分割パターンを含む、前記配信対象の映像の表示に関する情報を示すマニフェストファイルを生成する分割部と、
    前記分割部が生成した複数の分割映像および前記マニフェストファイルを前記端末装置に配信する配信部と、を備えることを特徴とする配信装置。
  6. 請求項5に記載の配信装置において、
    前記分割部は、前記分割映像が1台の端末装置で表示される映像よりも大きくなるような分割パターンで前記配信対象の映像を分割することを特徴とする配信装置。
  7. 表示部を有する端末装置であって、
    平面上または立体表面上に配置された複数の端末装置による配信対象の映像の表示態様に応じた異なる分割パターンで前記配信対象の映像を分割した複数の分割映像、および、前記配信対象の映像の表示態様に応じた分割パターンを含む、前記配信対象の映像の表示に関する情報を示すマニフェストファイルを生成して配信する配信装置から、前記マニフェストファイル、および、前記複数の分割映像のうち、前記マニフェストファイルに基づく分割映像を受信する受信部と、
    前記複数の端末装置による表示態様および前記表示態様における自装置の位置を検出し、前記マニフェストファイルに示される、前記検出した表示態様に応じた分割パターンで前記配信対象の映像が分割された複数の分割映像のうち、前記検出した自装置の位置に対応する分割映像を前記受信部に受信させる同期部と、
    前記受信部が受信したマニフェストファイルに基づき、前記受信部が受信した分割映像を前記表示部に表示する再構成部と、を備えることを特徴とする端末装置。
  8. 請求項7に記載の端末装置において
    前記分割映像が1台の端末装置で表示される映像よりも大きくなるような分割パターンで前記配信対象の映像が分割され、
    前記再構成部は、前記同期部が検出した自装置の位置に応じて、前記受信部が受信した分割映像における一部の映像を前記表示部に表示することを特徴とする端末装置。
  9. 請求項8に記載の端末装置において、
    前記同期部は、前記平面上または立体表面上での自装置の向きを検出し、
    前記再構成部は、前記同期部が検出した自装置の向きに応じて、前記受信部が受信した分割映像における一部の映像を前記表示部に表示することを特徴とする端末装置。
  10. 請求項7から9のいずれか一項に記載の端末装置において、
    前記同期部は、前記映像を表示する端末装置の台数の変更、自装置の位置の変更または自装置の回転を検出すると、前記複数の端末装置による表示態様および前記表示態様における自装置の位置を再度、検出することを特徴とする端末装置。
JP2017242036A 2017-12-18 2017-12-18 映像表示システム、配信装置および端末装置 Active JP7054338B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017242036A JP7054338B2 (ja) 2017-12-18 2017-12-18 映像表示システム、配信装置および端末装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017242036A JP7054338B2 (ja) 2017-12-18 2017-12-18 映像表示システム、配信装置および端末装置

Publications (2)

Publication Number Publication Date
JP2019110432A true JP2019110432A (ja) 2019-07-04
JP7054338B2 JP7054338B2 (ja) 2022-04-13

Family

ID=67180255

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017242036A Active JP7054338B2 (ja) 2017-12-18 2017-12-18 映像表示システム、配信装置および端末装置

Country Status (1)

Country Link
JP (1) JP7054338B2 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012124759A (ja) * 2010-12-09 2012-06-28 Mitsubishi Electric Corp 情報表示装置および情報表示方法
JP2013246583A (ja) * 2012-05-24 2013-12-09 Buffalo Inc 情報処理システム、サーバ装置、情報処理方法及びプログラム
JP2017016314A (ja) * 2015-06-30 2017-01-19 株式会社リコー 表示システム、情報処理装置、情報端末、及びプログラム
WO2017168582A1 (ja) * 2016-03-29 2017-10-05 三菱電機株式会社 画像受信再生装置、画像生成送信装置、表示システム、画像受信再生方法、画像生成送信方法、画像受信再生プログラム及び画像生成送信プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012124759A (ja) * 2010-12-09 2012-06-28 Mitsubishi Electric Corp 情報表示装置および情報表示方法
JP2013246583A (ja) * 2012-05-24 2013-12-09 Buffalo Inc 情報処理システム、サーバ装置、情報処理方法及びプログラム
JP2017016314A (ja) * 2015-06-30 2017-01-19 株式会社リコー 表示システム、情報処理装置、情報端末、及びプログラム
WO2017168582A1 (ja) * 2016-03-29 2017-10-05 三菱電機株式会社 画像受信再生装置、画像生成送信装置、表示システム、画像受信再生方法、画像生成送信方法、画像受信再生プログラム及び画像生成送信プログラム

Also Published As

Publication number Publication date
JP7054338B2 (ja) 2022-04-13

Similar Documents

Publication Publication Date Title
US11509825B2 (en) Image management system, image management method, and computer program product
US11108972B2 (en) Virtual three dimensional video creation and management system and method
CN104040474B (zh) 信息处理设备、信息处理方法以及记录介质
CN109327602B (zh) 使用多个分立显示器增加显示区域的系统以及方法
JP2019533372A (ja) パノラマ画像の表示制御方法、装置及び記憶媒体
KR20130081068A (ko) 복수의 휴대 단말들을 이용하여 멀티 비전 시스템을 구축하는 방법 및 이를 위한 장치
JP2015018296A (ja) 表示制御装置、プログラム及び記録媒体
WO2020084951A1 (ja) 画像処理装置および画像処理方法
US20140344053A1 (en) Electronic device and method for manipulating the same
EP3962090A1 (en) Communication terminal, image communication system, method for displaying image, and carrier means
JP2017212510A (ja) 画像管理装置、プログラム、画像管理システム及び情報端末
JP2022050979A (ja) 通信端末、画像通信システム、画像表示方法およびプログラム
CN107851069B (zh) 图像管理系统、图像管理方法及程序
CN117837150A (zh) 显示设备、通信终端及投屏画面动态显示方法
CN110944140A (zh) 远程展示方法、远程展示系统、电子装置、存储介质
KR20200116378A (ko) 복수의 방송 채널의 영상을 표시하는 장치 및 방법
JP7054338B2 (ja) 映像表示システム、配信装置および端末装置
JP2017108356A (ja) 画像管理システム、画像管理方法、プログラム
JP2013135422A (ja) 画像合成装置、端末装置、画像合成システム及びプログラム
JP7075202B2 (ja) 端末装置
US11040278B2 (en) Server device distributing video data and replay data and storage medium used in same
US20220164154A1 (en) Virtual playout screen for visual media using arrangement of mobile electronic devices
JP2017201743A (ja) 画像管理システム、画像管理装置、プログラム及び情報端末
JP2013161320A (ja) 機器位置判定装置、機器位置判定方法
US10219025B2 (en) Video distribution device, video distribution method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201027

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210811

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210928

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211012

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220308

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220401

R150 Certificate of patent or registration of utility model

Ref document number: 7054338

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150