JP2015097343A - 映像配信システム、映像配信装置及び映像配信プログラム - Google Patents

映像配信システム、映像配信装置及び映像配信プログラム Download PDF

Info

Publication number
JP2015097343A
JP2015097343A JP2013237015A JP2013237015A JP2015097343A JP 2015097343 A JP2015097343 A JP 2015097343A JP 2013237015 A JP2013237015 A JP 2013237015A JP 2013237015 A JP2013237015 A JP 2013237015A JP 2015097343 A JP2015097343 A JP 2015097343A
Authority
JP
Japan
Prior art keywords
video
divided
video data
tendency
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013237015A
Other languages
English (en)
Other versions
JP6178705B2 (ja
Inventor
越智 大介
Daisuke Ochi
大介 越智
草地 良規
Yoshinori Kusachi
良規 草地
康輔 高橋
Kosuke Takahashi
康輔 高橋
明 小島
Akira Kojima
明 小島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2013237015A priority Critical patent/JP6178705B2/ja
Publication of JP2015097343A publication Critical patent/JP2015097343A/ja
Application granted granted Critical
Publication of JP6178705B2 publication Critical patent/JP6178705B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】ユーザがインタラクティブに映像を操作し、見たい部分を見たい画角で視聴するシステムにおいて効率的に映像配信を行う。【解決手段】全体映像データが複数の小領域に分割され、少なくとも1つの小領域によって構成する分割映像をユーザの選択操作によって選択することにより、全体映像データのうち選択した分割映像の映像データを配信する映像配信装置は、選択手段によって選択された分割映像の映像データをバッファに対して配信する手段と、選択された分割映像を構成する小領域を特定する情報を収集して記憶する手段と、記憶された小領域を特定する情報から次に分割映像を選択する傾向を示す情報である傾向情報を特定して記憶する手段と、分割映像が選択された際に、記憶されている傾向情報を参照して、次に選択される傾向が高い小領域によって構成する分割映像の映像データをバッファに対して配信する手段とを備える。【選択図】図1

Description

本発明は、映像配信システム、映像配信装置及び映像配信プログラムに関する。
近年、高速ネットワークインフラの整備、表示デバイス、撮像カメラなどの高性能化等に伴い、タブレット端末やスマートフォンのような画面を直接触って直感的な入力が可能な装置を備えたデバイスを用いて、デバイスの表示領域以上のサイズを持った映像や画像から自分の見たい位置や画角をインタラクティブに選んで視聴する技術が考案されている(例えば、非特許文献1参照)。非特許文献1では、そのようなユーザ端末の表示領域以上のサイズの映像・画像を予め高い解像度から低いものまで複数用意し、さらにそれらをいくつかのタイル状の領域(以下、タイルと称する)に分割して配信サーバに保存しておき、ユーザが選んだ画角サイズに応じて、ユーザの視聴端末の表示デバイスに対して最も適当な解像度の、ユーザの選んだ領域を含むタイルだけを効率的に配信することでこの視聴方法が実現されている。
Mobile and Multi-device Interactive Panorama Video Distribution System, Hideaki Kimata, Daisuke Ochi, Akio Kameda, Hajime Noto, Katsuhiko Fukazawa, Akira Kojima, IEEE GCCE 2012 2012.10.2-5 Tokyo, Japan
しかし、非特許文献1に記載の技術では、ユーザがインタラクティブに視聴する部分や画角を変えた際、新たに選択された部分を含むタイルの配信を受けるまでユーザは待たなければならないという問題がある。この問題を克服するため、これまでは、ユーザが選んだ領域を含むタイルの他に全体が映った解像度の低い映像・画像(解像度が低いため映像・画像の容量が小さく、ネットワーク負荷がかからない映像・画像)を同時に配信しておき、高解像度のタイルが配信されるまでの間、低解像度で映像・画像を視聴してもらう方法により、問題の解決を図っている。このため、一時的にユーザの見たい部分の解像度が下がってしまうため、ユーザの視認性が落ちてしまい、ユーザエクスペリエンスの質が高いとは言えなかった。
また、ユーザが視聴しているタイミングよりも先の映像だけでなく、ユーザが現在視聴している部分の周りの領域を先読みして予めユーザの視聴端末内にバッファリングしておき、ユーザが視聴領域や画角を変化させた場合にすぐさまバッファ領域から予め取得しておいた映像・画像を提示し、ユーザを待たせることなくユーザが選択した領域を含む高解像度のタイルを提示するといった従来のバッファリングの考え方に基づいた方法も利用可能である。しかし、ユーザがインタラクティブに視聴する部分や画角を選択する視聴形態においては、いつどのタイミングでユーザが操作を行い、視聴領域や画角の変更を行うかが不明であるため、考えられる周りの領域、および予め決められた時間後までのすべての映像・画像をバッファリングしなければならないため、非効率かつネットワーク帯域や端末のバッファリングメモリやダウンロードリソースを無駄に消費してしまうという問題がある。
本発明は、このような事情に鑑みてなされたもので、ユーザがインタラクティブに映像を操作し、見たい部分を見たい画角で視聴するシステムにおいて効率的に映像配信を行うことができる映像配信システム、映像配信装置及び映像配信プログラムを提供することを目的とする。
本発明は、全体映像データが複数の小領域に分割され、少なくとも1つの前記小領域によって構成する分割映像をユーザの選択操作によって選択することにより、前記全体映像データのうち選択した分割映像の映像データを配信する映像配信装置と、配信された前記分割映像の映像データを出力するユーザ端末とを備える映像配信システムであって、前記ユーザ端末は、所望の前記分割映像を選択する選択手段と、前記映像配信装置から配信された前記映像データを一時記憶するバッファと、前記バッファに記憶されている映像データを読み出して出力する映像出力手段とを備え、前記映像配信装置は、前記選択手段によって選択された前記分割映像の映像データを前記バッファに対して配信する第1の配信手段と、前記選択手段によって選択された前記分割映像を構成する前記小領域を特定する情報を収集して記憶する記憶手段と、前記記憶手段に記憶された前記小領域を特定する情報から次に前記分割映像を選択する傾向を示す情報である傾向情報を特定して記憶する傾向情報記憶手段と、前記選択手段によって前記分割映像が選択された際に、前記傾向情報記憶手段に記憶されている前記傾向情報を参照して、次に選択される傾向が高い前記小領域によって構成する前記分割映像の映像データを前記バッファに対して配信する第2の配信手段とを備えることを特徴とする。
本発明は、全体映像データが複数の小領域に分割され、少なくとも1つの前記小領域によって構成する分割映像をユーザの選択操作によって選択することにより配信された前記全体映像データのうち選択した分割映像の映像データを出力するために、所望の前記分割映像を選択する選択手段と、前記映像配信装置から配信された前記映像データを一時記憶するバッファと、前記バッファに記憶されている映像データを読み出して出力する映像出力手段とを備えるユーザ端末に対して、前記映像データを配信する映像配信装置であって、前記選択手段によって選択された前記分割映像の映像データを前記バッファに対して配信する第1の配信手段と、前記選択手段によって選択された前記分割映像を構成する前記小領域を特定する情報を収集して記憶する記憶手段と、前記記憶手段に記憶された前記小領域を特定する情報から次に前記分割映像を選択する傾向を示す情報である傾向情報を特定して記憶する傾向情報記憶手段と、前記選択手段によって前記分割映像が選択された際に、前記傾向情報記憶手段に記憶されている前記傾向情報を参照して、次に選択される傾向が高い前記小領域によって構成する前記分割映像の映像データを前記バッファに対して配信する第2の配信手段とを備えることを特徴とする。
本発明は、前記傾向情報記憶手段は、前記ユーザの属性に応じて、次に前記分割映像を選択する傾向を示す情報である傾向情報を変化させて記憶することを特徴とする。
本発明は、コンピュータを、前記映像配信装置として機能させるための映像配信プログラムである。
本発明によれば、ユーザがインタラクティブに映像を操作し、見たい部分を見たい画角で視聴するシステムにおいて効率的に映像配信を行うことが可能になるという効果が得られる。
本発明の第1実施形態による映像配信システムの構成を示すブロック図である。 図1に示す映像配信システムの動作を示す図である。 図1に示す映像配信システムの映像配信動作を示すフローチャートである。 コンテンツ描画において、低解像度タイル、高解像度タイルおよびユーザの視聴部分の関係を示す図である。 本発明の第2実施形態よる映像配信システムの動作を示す図である。 本発明の第3実施形態よる映像配信システムの動作を示す図である。 本発明の第4実施形態よる映像配信システムの動作を示す図である。
<第1実施形態>
以下、図面を参照して、本発明の第1実施形態による映像配信システムを説明する。図1は同実施形態の構成を示すブロック図である。この図において、符号10は、映像を配信する配信サーバである。符号20は、配信サーバ10から配信された映像を視聴するユーザ視聴端末である。配信サーバ10とユーザ視聴端末20とは情報通信可能に接続されている。符号11は、配信すべき映像であるコンテンツを保存するコンテンツ保存部であり、記憶装置によって構成する。符号12は、配信すべき映像を決定する配信映像決定部である。符号13は、ユーザ視聴端末20において視聴された映像に関する視聴ログを記録、出力する視聴ログ記録・出力部である。符号14は、視聴ログと視聴傾向結果の情報を保存するログ・視聴傾向結果保存部であり、記憶装置によって構成する。符号15は、視聴ログに基づいて視聴傾向を算出する視聴傾向算出部である。符号16は、予測映像を配信する予測映像配信部である。符号17は、低解像度の映像を配信する低解像度配信部である。符号18は、視聴されている部分の映像を配信する視聴部分配信部である。
符号21は、映像を視聴するユーザが操作入力を行う入力部である。符号22は、配信された映像を表示する表示部である。符号23は、配信サーバ10から配信された映像を一時記憶するバッファである。符号24は、入力部21における操作内容に応じて、配信する映像の要求を行う映像要求部である。符号25は、配信映像の受信を行う映像受信部である。符号26は、高解像度映像をデコードする高解像度映像デコード部である。符号27は、デコードされた高解像度映像を表示部22に描画する高解像度映像描画部である。符号28は、低解像度映像をデコードする低解像度映像デコード部である。符号29は、デコードされた低解像度映像を表示部22に描画する低解像度映像描画部である。
ユーザ視聴端末20は、例えばタッチパネル入力を備えたタブレットやスマートフォンといった端末を用いることができる。また、入力部21としてマウスやペンタブレット、リモコンを兼ね備えたパソコンやSTB(Set Top Box)などでも構わない。配信サーバ10は、サーバ機、PCサーバ等、以下で説明する機能を持ったものであればその形態は問わない。
なお、配信サーバ10とユーザ視聴端末20が一体になっており、ローカルに保存されたコンテンツを以下で説明する機能を使ってユーザが視聴するようにしてもよい。
次に、図2を参照して、図1に示す映像配信システムの動作を説明する。図2は、図1に示す映像配信システムの動作を示す図である。配信サーバ10はコンテンツ保存部11を備えている。コンテンツ保存部11に保存されるコンテンツは予め決められた複数の解像度を持つ映像データが保存されており、それぞれ、各フレーム毎にタイルと呼ばれる、所定の大きさの部分画像に分割されている。
ユーザが自身の見たい位置をユーザ視聴端末20において例えばタブレットのタッチパネル上でフリック/ピンチ操作などにより選択操作(入力部21の操作)をすると、選択された部分を含むタイル(選択された部分が面積で最大となるタイル、高解像度タイルと呼ぶ)が要求される。また、低解像度タイルはコンテンツの全域を含むタイルとなっており、ユーザがコンテンツを視聴する間、高解像度タイルと共に常に配信される。
これにより、ユーザが視聴位置や画角を変更し、システムがその部分に応じた高解像度タイルを要求し、その配信を待つ間も映像が途切れることなく(映像が抜けてしまうことなく)、シームレスに映像視聴を行うことが可能となる。本実施形態ではこの他に、以後説明する方法で予測映像のタイル(次のタイミングで見られるであろうタイル)も同時に送られる。
次に、図3を参照して、図1に示す映像配信システムの映像配信動作を説明する。図3は、図1に示す映像配信システムの映像配信動作を示すフローチャートである。まず、低解像度配信部17はバッファ23に低解像度タイルを配信する(ステップS1)。続いて、視聴部分配信部18は、高解像度タイルをバッファ23に配信する(ステップS2)。
次に、バッファ23は、低解像度タイルと高解像度タイルを映像受信部25へ受け渡す(ステップS3)。これを受けて、映像受信部25は、高解像度タイルを高解像度映像デコード部26へ出力する。これを受けて、高解像度映像デコード部26は、高解像度タイルをデコードして高解像度映像描画部27へ出力する。そして、高解像度映像描画部27は、デコードされた高解像度タイルを表示部22に描画することによって高解像度タイルの映像を表示する。また、映像受信部25は、低解像度タイルを低解像度映像デコード部28へ出力する。これを受けて、低解像度映像デコード部28は、低解像度タイルをデコードして低解像度映像描画部29へ出力する。そして、低解像度映像描画部29は、デコードされた低解像度タイルを表示部22に描画することによって低解像度タイルの映像を表示する。このとき、低解像度タイルと高解像度タイルは重畳されて表示部22に表示されることになる(ステップS4)。この基本動作(ステップS1〜S4)は繰り返し行われる。
この基本動作と並行して、ユーザ視聴端末20の入力部21において、ユーザが視聴位置・画角を選択する操作を行うと、入力部21は、ユーザの入力操作(例えばユーザのタッチパネル入力操作)を読み取る(ステップS5)。入力部21は入力された値を映像要求部24に渡す。映像要求部24は、バッファ23に目的のタイルがあるか否かを判定し(ステップS6)、バッファ23に目的のタイルがあれば、前述の基本動作を続行する。
一方、バッファ23に目的のタイルがない場合、映像要求部24は、配信映像決定部12に対して目的の高解像度タイルを要求する(ステップS7)。これを受けて、配信映像決定部12は、要求された高解像度タイルを配信する指示を視聴部分配信部18へ出力する。視聴部分配信部18は、指示された高解像度タイルをコンテンツ保存部11から読み出してバッファ23へ配信する(ステップS8)。そして、前述した処理動作と同様に、ステップS3、S4が実行されて、ユーザの操作に応じた高解像度タイルが表示部22に表示されることになる。
この処理動作と並行して、配信映像決定部12は、視聴部分配信部18に対して高解像度タイルの配信を指示するタイミングで要求された視聴部分の高解像度タイルがどこであったかを示す情報を視聴ログ記録・出力部13に通知する。これを受けて、視聴ログ記録・出力部13は、要求された視聴部分の高解像度タイルがどこであったかを示す情報をログ・視聴傾向結果保存部14に記憶する(ステップS9)。
次に、視聴傾向算出部15は、ログ・視聴傾向結果保存部14に記憶されているログ情報に基づいて、視聴傾向を算出し、得られた視聴傾向の情報をログ・視聴傾向結果保存部14に記憶する(ステップS10)。ここでいう視聴傾向の情報とは、視聴された高解像度タイルの次、またはその次に視聴された高解像度タイルの候補を示す情報である。本映像配信システムの同時使用ユーザは一人には限らないため、複数回同じコンテンツが視聴された場合、コンテンツの任意のタイミングで視聴されるタイルの視聴頻度が視聴傾向算出部15において計算可能となる。視聴傾向算出部15は、映像配信と視聴する動作とは非同期で定期的にログ・視聴傾向結果保存部14に記憶されているログ情報に基づいて視聴傾向を算出する処理を行って、ログ・視聴傾向結果保存部14に記憶する。
次に、配信映像決定部12が視聴ログ記録・出力部13に情報記録を出力するのと同じタイミングで視聴ログ記録・出力部に対して、ログ・視聴傾向結果保存部14に保存された現時点でユーザが視聴しているタイミング、および予め管理者、またはユーザが設定した分量の未来のタイミングにおける各タイルの視聴頻度を問い合わせる(ステップS11)。配信サーバ10には予め管理者、またはユーザが参照すべき未来のタイミングと視聴頻度の閾値が登録されているものとし、その閾値に応じ、視聴頻度の高いタイル、すなわち“次のタイミング”でユーザが視聴するであろうタイルがどれであるかという情報を配信映像決定部12に対して回答する。
配信映像決定部12は、回答で得た情報を予測映像配信部に出力する。これを受けて、予測映像配信部16はこの情報に基づく高解像度タイルをコンテンツ保存部11から読み出し、バッファ23へ配信する(ステップS12)。“次のタイミング”でユーザが視聴するであろうタイルは所定の閾値に応じて複数あってもかまわない。この構成によって、次のタイミングで映像要求部24が要求する高解像度タイルがバッファ23に記憶されていた場合は、視聴部分配信部18からの映像配信を待つことなく、即時に高解像度のタイルを映像受信部25に送ることができる。
最後に、コンテンツ終端であるか否かを判定し(ステップS13)、コンテンツ終端であれば処理を終了し、コンテンツ終端でなければステップS1に戻って処理を繰り返す。
なお、高解像度タイルと低解像度タイルの時間同期の取り方については、各ファイルに時間情報を含むヘッダを付ける方法、ファイル名に時刻を入れておくことによって実現することができる。また、コンテンツ保存部11に保存された各タイルのファイル形式の一例として、静止画で全フレーム分保存されている、MPEG形式で1GOP(Group Of Pictures)単位で保存されているものがあげられる。
前述した処理動作によって、映像受信部25に届けられた低解像度タイルと、ユーザが視聴したい高解像度タイルはそれぞれ低解像度映像デコード部28と高解像度映像デコード部26に送られ、映像デコード処理がなされ、デコード後の各映像は低解像度映像描画部29および高解像度映像描画部27において図4に示す形式でユーザ視聴端末20に描画されることになり、ユーザは表示部22に描画された映像を視聴することになる。図4は、コンテンツ描画において、低解像度タイル、高解像度タイルおよびユーザの視聴部分の関係を示す図である。
<第2実施形態>
次に、本発明の第2実施形態による映像配信システムを説明する。第2実施形態おける映像配信システムは、予測配信するタイルが複数あることが第1実施形態による映像配信システムと異なる点である。図5は、第2実施形態おける映像配信システムの動作を示す図である。
各タイルの視聴頻度は予め複数ユーザによる視聴から算出されているものとし、ある時刻tで視聴される高解像度タイルの次の時刻t+1における各タイルの視聴頻度の上位3つをバッファ23へ配信できるように配信サーバ管理者、またはユーザが予め設定しているものとする。
現在の視聴時刻における高解像度タイル(A)、低解像度タイル(B)が配信されると同時に、次のタイミングで見られるであろうタイル(C1〜3)を配信する。この“次のタイミングで見られるであろうタイル”は、時刻がt〜t+1間にユーザが移動できるであろう範囲の中でより視聴頻度が高い3つであり、この“ユーザが移動できるであろう範囲”は配信サーバの管理者、またはユーザが予め設定しておくものとする。例えば、1フレーム進むタイミング内でユーザは最大2次元方向に2タイル、解像度方向に1タイルしか移動できないなどである。
次のタイミング(時刻t+1)でユーザがC2のタイルに含まれる領域を選択した場合、高解像度タイルの配信要求を配信サーバ10にすることなく、バッファ23からすぐに映像受信部25に引き渡すことが可能となるため、ユーザは配信サーバ10からの高解像度タイルが配信されるまでの時間を感じることなく即座に高解像度の映像を視聴することが可能となる。
また、万一次のタイミング(時刻t+1)でユーザがC1〜3のタイルに含まれる領域を選択しなかったとしても、配信サーバ10から高解像度タイルが配信されるまでの間、低解像度タイル(B)を表示しておくといった従来の方法で映像表示が可能となるため、ユーザエクスペリエンスが従来以上に低下することはない。
本実施形態では予測配信するタイル数は3つとし、未来のタイミング(時刻t+1)においてそれらを選んだが、配信サーバ10の管理者、またはユーザ自身がユーザ視聴端末20のバッファサイズ、ネットワークスピードを鑑みてこの閾値を変更(例えば、t+3までそれぞれ5枚のタイルをバッファリングするなど)することは可能である。
<第3実施形態>
次に、本発明の第3実施形態による映像配信システムを説明する。第3実施形態おける映像配信システムは、利用者の属性に応じて予測配信するタイルを変更することが、第1、第2実施形態と異なる点である。図6は、第3実施形態おける映像配信システムの動作を示す図である。
第3実施形態の映像配信システムでは、予めこの配信サービスを利用するユーザが限定されており、それぞれどのような属性のユーザがどのようなタイルを視聴したかが視聴ログに記録されていた場合、視聴傾向結果をその属性に応じて変更するものである。すなわち、視聴傾向結果から、例えば男性であればある時刻tの次のタイミングt+1ではC1〜3のタイルがよく見られる一方で、女性であればC4〜C6のタイルがよく見られることが分かっている場合、そのルールに従う仕組みを配信サーバ10の管理者、またはユーザ自身が視聴ログ記録・出力部13に登録しておき、利用ユーザの性別によって予測配信するタイルを変更することが可能となる。
ここでは属性として性別を利用したが、年齢や特定の被写体の好み、過去の視聴コンテンツの種別等でルールが作られても構わない。これにより、個人の嗜好に合わせた予測映像の高解像度タイルの配信が可能となる。
<第4実施形態>
次に、本発明の第4実施形態による映像配信システムを説明する。第4実施形態おける映像配信システムは、第3実施形態を発展させ、記録された視聴傾向から全体の視聴傾向を把握して処理することが、第3実施形態と異なる点である。図7は、第4実施形態おける映像配信システムの動作を示す図である。
男性と女性でコンテンツ全時刻においてどのタイルが最も見られていたかが分かっており、かつ、各タイルにはどの程度被写体が映っているかが予め分かっている場合、男性にはどの被写体、女性にはどの被写体が人気がある(図7に示す例では男性は被写体A、女性は被写体B)と言ったことが容易に算出できようになり、一般ユーザの嗜好特性が容易に把握可能となる。
ここでは、各タイルにどの程度被写体が映っているかが予め分かることを想定したが、このタイル内の被写体が映る割合データは、例えば人が予め目で見て登録することや、一般的なツール(例えばOpenCVの顔認識結果)などを用いて自動的に登録することなどが適用できる。また、ここではコンテンツ内に被写体は2つ(AとB)としたが、より多くの被写体があってもかまわない。さらに、今回は性別の属性で嗜好の違いを説明したが、年齢や出身地、出身国などの違いから算出することも可能である。
以上説明したように、ユーザがインタラクティブに映像・画像を操作し、見たい部分を見たい画角で視聴するようなシステムにおいて効率的な映像配信を行うことが可能になる。これを実現するために、ある複数ユーザが対象のコンテンツを視聴した際、それぞれのユーザがどのタイミング(フレーム)でどのタイルを視聴していたか(どのタイミングでどの二次元位置がどの画角で視聴されていたか)を記録・保存しておき、全ユーザの記録を解析することで、全ユーザの視聴傾向(あるタイミングにおける各タイルの視聴割合)を算出し、記録しておくようにした。
この方法では新たなユーザが同じコンテンツの視聴を行う際、任意のタイミングで選択したタイルを配信サーバから配信する際、前述の全ユーザの視聴傾向から、今回のユーザが次のタイミングで見るであろうタイル(2次元的にまわりにあるタイル、またはユーザの選択した領域を含む解像度の異なるタイル)を予め決められたフレーム数内においてユーザ視聴端末へ配信する。これにより、ユーザが次のタイミングで見るであろうタイルを予め配信しておくことができる。このため、ユーザは次に選択するタイルを選択した時点で、まず解像度の低い映像を見ることなく高画質に視聴できる確率が上がり、ユーザエクスペリエンスの向上が可能となる。また、全ユーザの視聴傾向を逐次計算するようにしておけば、ある時期から突然人気が出た被写体などに対してもタイルの事前配信が可能となるため、ユーザの視聴傾向にロバストな配信が可能となる。さらに、無駄な(あまりユーザが視聴しない)タイルを配信することがないため、ユーザが好きな部分や画角を選択して視聴する視聴形態において、ネットワーク帯域や端末のダウンロードリソースの消費を最低限に抑えることが可能となる。
また、バッファリングされていないタイルをユーザが選択した場合は、従来の方法で適切なタイルが配信されるまで低解像度の映像を見つつ待たなければならないが、視聴操作を行った前述の「新たなユーザ」の視聴領域・画角も記録・保存され、同様にさらなる次の「新たなユーザ」のために解析がなされるため、多くのユーザが視聴すればするほど、同時に配信すべきタイルの統計的な精度が向上し、待たなければならないユーザは減っていく上、ネットワーク帯域や端末のバッファリングメモリ、ダウンロードリソースの消費が改善され続けるといった効果もある。
また、視聴するユーザが別の観点(例えば性別やコンテンツに映った被写体の好み、年齢等)が異なる場合、視聴傾向が異なることも考えられるが、予めユーザを特定の観点でクラスタリングできるのであれば、観点毎にユーザの視聴傾向を別集計することで、新たに視聴するユーザが所属するクラスタリング観点さえ分かれば、そのユーザに合った事前配信が可能となる。
さらに、ユーザが最終的に視聴した全時刻におけるタイルの視聴傾向から、特定の被写体をより多く見ているなどのユーザの嗜好を把握可能といった効果もある。
前述した実施形態における配信サーバ10、ユーザ視聴端末20をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、PLD(Programmable Logic Device)やFPGA(Field Programmable Gate Array)等のハードウェアを用いて実現されるものであってもよい。
以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。
ユーザがインタラクティブに映像を操作し、見たい部分を見たい画角で視聴するシステムにおいて効率的に映像配信を行うことが不可欠な用途に適用できる。
10・・・配信サーバ、11・・・コンテンツ保存部、12・・・配信映像決定部、13・・・視聴ログ記録・出力部、14・・・ログ・視聴傾向結果保存部、15・・・視聴傾向算出部、16・・・予測映像配信部、17・・・低解像度配信部、18・・・視聴部分配信部、20・・・ユーザ視聴端末、21・・・入力部、22・・・表示部、23・・・バッファ、24・・・映像要求部、25・・・映像受信部、26・・・高解像度映像デコード部、27・・・高解像度映像描画部、28・・・低解像度映像デコード部、29・・・低解像度映像描画部

Claims (4)

  1. 全体映像データが複数の小領域に分割され、少なくとも1つの前記小領域によって構成する分割映像をユーザの選択操作によって選択することにより、前記全体映像データのうち選択した分割映像の映像データを配信する映像配信装置と、配信された前記分割映像の映像データを出力するユーザ端末とを備える映像配信システムであって、
    前記ユーザ端末は、
    所望の前記分割映像を選択する選択手段と、
    前記映像配信装置から配信された前記映像データを一時記憶するバッファと、
    前記バッファに記憶されている映像データを読み出して出力する映像出力手段と
    を備え、
    前記映像配信装置は、
    前記選択手段によって選択された前記分割映像の映像データを前記バッファに対して配信する第1の配信手段と、
    前記選択手段によって選択された前記分割映像を構成する前記小領域を特定する情報を収集して記憶する記憶手段と、
    前記記憶手段に記憶された前記小領域を特定する情報から次に前記分割映像を選択する傾向を示す情報である傾向情報を特定して記憶する傾向情報記憶手段と、
    前記選択手段によって前記分割映像が選択された際に、前記傾向情報記憶手段に記憶されている前記傾向情報を参照して、次に選択される傾向が高い前記小領域によって構成する前記分割映像の映像データを前記バッファに対して配信する第2の配信手段と
    を備えることを特徴とする映像配信システム。
  2. 全体映像データが複数の小領域に分割され、少なくとも1つの前記小領域によって構成する分割映像をユーザの選択操作によって選択することにより配信された前記全体映像データのうち選択した分割映像の映像データを出力するために、所望の前記分割映像を選択する選択手段と、前記映像配信装置から配信された前記映像データを一時記憶するバッファと、前記バッファに記憶されている映像データを読み出して出力する映像出力手段とを備えるユーザ端末に対して、前記映像データを配信する映像配信装置であって、
    前記選択手段によって選択された前記分割映像の映像データを前記バッファに対して配信する第1の配信手段と、
    前記選択手段によって選択された前記分割映像を構成する前記小領域を特定する情報を収集して記憶する記憶手段と、
    前記記憶手段に記憶された前記小領域を特定する情報から次に前記分割映像を選択する傾向を示す情報である傾向情報を特定して記憶する傾向情報記憶手段と、
    前記選択手段によって前記分割映像が選択された際に、前記傾向情報記憶手段に記憶されている前記傾向情報を参照して、次に選択される傾向が高い前記小領域によって構成する前記分割映像の映像データを前記バッファに対して配信する第2の配信手段と
    を備えることを特徴とする映像配信装置。
  3. 前記傾向情報記憶手段は、前記ユーザの属性に応じて、次に前記分割映像を選択する傾向を示す情報である傾向情報を変化させて記憶することを特徴とする請求項2に記載の映像配信装置。
  4. コンピュータを、請求項2または3に記載の映像配信装置として機能させるための映像配信プログラム。
JP2013237015A 2013-11-15 2013-11-15 映像配信システム、映像配信装置及び映像配信プログラム Expired - Fee Related JP6178705B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013237015A JP6178705B2 (ja) 2013-11-15 2013-11-15 映像配信システム、映像配信装置及び映像配信プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013237015A JP6178705B2 (ja) 2013-11-15 2013-11-15 映像配信システム、映像配信装置及び映像配信プログラム

Publications (2)

Publication Number Publication Date
JP2015097343A true JP2015097343A (ja) 2015-05-21
JP6178705B2 JP6178705B2 (ja) 2017-08-09

Family

ID=53374456

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013237015A Expired - Fee Related JP6178705B2 (ja) 2013-11-15 2013-11-15 映像配信システム、映像配信装置及び映像配信プログラム

Country Status (1)

Country Link
JP (1) JP6178705B2 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018525852A (ja) * 2015-05-27 2018-09-06 グーグル エルエルシー 球面ビデオのストリーミング
JP2019516297A (ja) * 2016-04-08 2019-06-13 ヴィズビット インコーポレイテッド ビューを意識した360度ビデオストリーミング
WO2019155695A1 (ja) * 2018-02-06 2019-08-15 株式会社Nttドコモ 情報処理装置及び情報処理方法
JPWO2020235034A1 (ja) * 2019-05-22 2020-11-26
JP2021108481A (ja) * 2017-04-06 2021-07-29 株式会社ソニー・インタラクティブエンタテインメント 360ビデオストリーミングのための予測ビットレート選択
CN113301439A (zh) * 2016-09-26 2021-08-24 杜比实验室特许公司 视频数据的基于内容的流分割
CN113891155A (zh) * 2021-09-29 2022-01-04 百果园技术(新加坡)有限公司 视频播放档位确定方法、视频播放方法及相关装置
CN115379244A (zh) * 2016-05-16 2022-11-22 谷歌有限责任公司 360度视频回放空间增强自适应比特率直播流送方法和装置
US12034984B2 (en) 2016-05-10 2024-07-09 Google Llc Method and apparatus for a virtual online video channel

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1188866A (ja) * 1997-07-18 1999-03-30 Pfu Ltd 高精細画像表示装置及びそのプログラム記憶媒体
JP2007189357A (ja) * 2006-01-11 2007-07-26 Matsushita Electric Ind Co Ltd 自由視点映像配信装置及び自由視点映像配信方法
JP2010206391A (ja) * 2009-03-02 2010-09-16 Nippon Telegr & Teleph Corp <Ntt> 表示装置、表示方法、表示プログラム及び記録媒体
JP2011024018A (ja) * 2009-07-16 2011-02-03 Gunzoo Inc 送信装置、受信装置、送信方法、受信方法及び伝送システム
JP2012014251A (ja) * 2010-06-29 2012-01-19 Sony Corp 画像管理サーバ、画像表示装置、画像提供方法、画像取得方法、プログラム及び画像管理システム
WO2012039404A1 (ja) * 2010-09-24 2012-03-29 株式会社Gnzo 映像ビットストリームの伝送システム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1188866A (ja) * 1997-07-18 1999-03-30 Pfu Ltd 高精細画像表示装置及びそのプログラム記憶媒体
JP2007189357A (ja) * 2006-01-11 2007-07-26 Matsushita Electric Ind Co Ltd 自由視点映像配信装置及び自由視点映像配信方法
JP2010206391A (ja) * 2009-03-02 2010-09-16 Nippon Telegr & Teleph Corp <Ntt> 表示装置、表示方法、表示プログラム及び記録媒体
JP2011024018A (ja) * 2009-07-16 2011-02-03 Gunzoo Inc 送信装置、受信装置、送信方法、受信方法及び伝送システム
JP2012014251A (ja) * 2010-06-29 2012-01-19 Sony Corp 画像管理サーバ、画像表示装置、画像提供方法、画像取得方法、プログラム及び画像管理システム
WO2012039404A1 (ja) * 2010-09-24 2012-03-29 株式会社Gnzo 映像ビットストリームの伝送システム

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018525852A (ja) * 2015-05-27 2018-09-06 グーグル エルエルシー 球面ビデオのストリーミング
US10880346B2 (en) 2015-05-27 2020-12-29 Google Llc Streaming spherical video
JP2019516297A (ja) * 2016-04-08 2019-06-13 ヴィズビット インコーポレイテッド ビューを意識した360度ビデオストリーミング
US12034984B2 (en) 2016-05-10 2024-07-09 Google Llc Method and apparatus for a virtual online video channel
CN115379244B (zh) * 2016-05-16 2024-01-30 谷歌有限责任公司 360度视频回放空间增强自适应比特率直播流送方法和装置
CN115379244A (zh) * 2016-05-16 2022-11-22 谷歌有限责任公司 360度视频回放空间增强自适应比特率直播流送方法和装置
CN113301439B (zh) * 2016-09-26 2023-06-30 杜比实验室特许公司 用于处理视频图像的装置
CN113301439A (zh) * 2016-09-26 2021-08-24 杜比实验室特许公司 视频数据的基于内容的流分割
JP2021108481A (ja) * 2017-04-06 2021-07-29 株式会社ソニー・インタラクティブエンタテインメント 360ビデオストリーミングのための予測ビットレート選択
JP7129517B2 (ja) 2017-04-06 2022-09-01 株式会社ソニー・インタラクティブエンタテインメント 360ビデオストリーミングのための予測ビットレート選択
WO2019155695A1 (ja) * 2018-02-06 2019-08-15 株式会社Nttドコモ 情報処理装置及び情報処理方法
JPWO2019155695A1 (ja) * 2018-02-06 2020-02-27 株式会社Nttドコモ 情報処理装置及び情報処理方法
JPWO2020235034A1 (ja) * 2019-05-22 2020-11-26
JP7259947B2 (ja) 2019-05-22 2023-04-18 日本電信電話株式会社 映像配信装置、映像配信方法及びプログラム
US11849159B2 (en) 2019-05-22 2023-12-19 Nippon Telegraph And Telephone Corporation Video distribution apparatus, video distribution method and program
WO2020235034A1 (ja) * 2019-05-22 2020-11-26 日本電信電話株式会社 映像配信装置、映像配信方法及びプログラム
CN113891155A (zh) * 2021-09-29 2022-01-04 百果园技术(新加坡)有限公司 视频播放档位确定方法、视频播放方法及相关装置
CN113891155B (zh) * 2021-09-29 2024-04-05 百果园技术(新加坡)有限公司 视频播放档位确定方法、视频播放方法及相关装置

Also Published As

Publication number Publication date
JP6178705B2 (ja) 2017-08-09

Similar Documents

Publication Publication Date Title
JP6178705B2 (ja) 映像配信システム、映像配信装置及び映像配信プログラム
US20190342241A1 (en) Systems and methods for manipulating and/or concatenating videos
US20170171274A1 (en) Method and electronic device for synchronously playing multiple-cameras video
JP6568670B1 (ja) 映像配信装置、映像配信システム、映像配信方法並びに映像配信プログラム
WO2012039404A1 (ja) 映像ビットストリームの伝送システム
US12001478B2 (en) Video-based interaction implementation method and apparatus, device and medium
EP3534616A1 (en) Method, device and system for playing 360 degree panoramic video
TWI630487B (zh) 使用共享及個人裝置合作提供個人化使用者功能
JP5923021B2 (ja) 映像視聴履歴解析装置、映像視聴履歴解析方法及び映像視聴履歴解析プログラム
KR102133207B1 (ko) 통신장치, 통신 제어방법 및 통신 시스템
CN114040230B (zh) 视频码率确定方法、装置、电子设备及其存储介质
CN115474085B (zh) 媒体内容播放方法、装置、设备和存储介质
US11785195B2 (en) Method and apparatus for processing three-dimensional video, readable storage medium and electronic device
CN114077375A (zh) 交互方法及装置、电子设备及存储介质
CN111249723B (zh) 游戏中的显示控制的方法、装置、电子设备及存储介质
CN112261408B (zh) 用于头戴显示设备的图像处理方法、装置及电子设备
US10165027B2 (en) Apparatus and method for transmitting/receiving buffering data in media streaming service
Kim et al. Region of interest–based segmented tiled adaptive streaming using head-mounted display tracking sensing data
KR102409033B1 (ko) 클라우드 스트리밍 서비스 시스템, 알파 레벨을 이용한 이미지 클라우드 스트리밍 서비스 방법 및 이를 위한 장치
JP5818326B2 (ja) 映像視聴履歴解析方法、映像視聴履歴解析装置及び映像視聴履歴解析プログラム
US20220116677A1 (en) Method, system, and computer readable recording medium for implementing seamless switching mode between channels in multi-stream live transmission environment
JP2014036232A (ja) コンテンツ配信システム、コンテンツ表示装置、コンテンツ配信方法、コンテンツ表示方法及びプログラム
CN112612435A (zh) 信息处理方法、装置、设备及存储介质
JP5818323B2 (ja) 映像視聴履歴解析方法、映像視聴履歴解析装置及び映像視聴履歴解析プログラム
JP6623905B2 (ja) サーバ装置、情報処理方法およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160308

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170413

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170523

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170622

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170711

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170714

R150 Certificate of patent or registration of utility model

Ref document number: 6178705

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees