JP2020080455A - 動画配信装置、端末、動画配信システム、動画配信方法、及びプログラム - Google Patents

動画配信装置、端末、動画配信システム、動画配信方法、及びプログラム Download PDF

Info

Publication number
JP2020080455A
JP2020080455A JP2018212404A JP2018212404A JP2020080455A JP 2020080455 A JP2020080455 A JP 2020080455A JP 2018212404 A JP2018212404 A JP 2018212404A JP 2018212404 A JP2018212404 A JP 2018212404A JP 2020080455 A JP2020080455 A JP 2020080455A
Authority
JP
Japan
Prior art keywords
image
terminal
quality data
image quality
panoramic video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018212404A
Other languages
English (en)
Other versions
JP6688367B1 (ja
Inventor
洋平 川崎
Yohei Kawasaki
洋平 川崎
能登 肇
Hajime Noto
肇 能登
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT TechnoCross Corp
Original Assignee
NTT TechnoCross Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT TechnoCross Corp filed Critical NTT TechnoCross Corp
Priority to JP2018212404A priority Critical patent/JP6688367B1/ja
Application granted granted Critical
Publication of JP6688367B1 publication Critical patent/JP6688367B1/ja
Publication of JP2020080455A publication Critical patent/JP2020080455A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】パノラマ動画におけるユーザの視野範囲に応じた高画質領域を配信すること。【解決手段】パノラマ動画を再生する端末とネットワークを介して接続される動画配信装置であって、前記パノラマ動画のフレーム画像が前記端末に表示される範囲の位置に応じて、前記範囲を含み、かつ、所定の画像サイズの第1の高画質データと、前記範囲を含み、かつ、全天周投影球で表現した場合に極の近傍を含む第2の高画質データとのうちのいずれを前記端末に配信するかを判定する判定手段と、前記判定手段による判定結果に応じて、前記第1の高画質データ又は前記第2の高画質データと、前記フレーム画像を前記画像サイズに圧縮した低画質データとを作成する作成手段と、前記作成手段が作成した前記第1の高画質データ又は前記第2の高画質データと前記低画質データとを前記端末に配信する配信手段と、を有することを特徴とする。【選択図】図4

Description

本発明は、動画配信装置、端末、動画配信システム、動画配信方法、及びプログラムに関する。
近年、上下左右の全方位360度の動画を撮影可能なカメラ装置が知られており、このようなカメラ装置で撮影された動画はパノラマ動画(又は、「パノラマ映像」や「360度パノラマ動画」等とも称される。)として視聴可能である。
また、例えば、動画配信サーバがパノラマ動画を端末にストリーミング配信等することで、当該端末でパノラマ動画を視聴することも行われている。しかしながら、パノラマ動画は一般にデータサイズが大きい場合が多く、パノラマ動画の配信に時間が掛かり、端末にパノラマ動画が表示されるまでに時間を要することがあった。
これに対して、端末に表示される範囲(以降、「視野範囲」とも表す。)を通常の画質で配信し、端末に表示されない範囲は低画質で配信する技術が知られている(非特許文献1参照)。
例えば、図1に示すように、全天周投影球で表現されるパノラマ動画では、全天周投影球の中心を観測位置として、この観測位置にある疑似的なカメラ装置が所定の画角で撮影した範囲が視野範囲となる。また、全天周投影球で表現されるパノラマ動画は、垂直角度θが0〜π、水平角度φが0〜2πの正距円筒図法で表現することができる。このとき、非特許文献1に記載されている技術では、正距円筒図法で表現されたパノラマ動画の視野範囲を含む部分領域データを「部分領域タイル」、パノラマ動画全体を圧縮したデータを「全体縮小タイル」として端末に配信する。この技術を用いることで、パノラマ動画の配信に要する時間を削減させることができると共に、視野範囲では高画質な動画が視聴可能であり、かつ、視野範囲を移動させた場合であっても動画が途切れることなく視聴可能とさせることができる。なお、本明細書では、圧縮とは、画像サイズの縮小を意味するものとする。
越智 大介、岩城 進之介、「リアルタイム全天球映像配信システム (特集 ドワンゴ×NTT R&Dコラボレーション)」、NTT技術ジャーナル 27(4)、51-54、2015-04
しかしながら、非特許文献1に記載された技術では、部分領域タイルの垂直角度θによっては全天周投影球上で部分領域タイルに対応する領域(以降、全天周投影球上の領域を「実効領域」とも表す。)が小さくなる場合がある。例えば、図2に示すように、部分領域タイルの上辺の垂直角度θがπである場合、部分領域タイルの実効領域は、全天周投影球の球面上で1つの頂点が北極点となる三画形状の領域となる。
このため、例えば、図2に示すように、北極方向へ視野範囲を移動させた場合、部分領域タイルに対応する実効領域が視野範囲よりも小さくなり、視野範囲で高画質な動画を視聴できなくなる場合があった。
本発明の実施の形態は、上記の点に鑑みてなされたもので、パノラマ動画におけるユーザの視野範囲に応じた高画質領域を配信することを目的とする。
上記目的を達成するため、本発明の実施の形態は、パノラマ動画を再生する端末とネットワークを介して接続される動画配信装置であって、前記パノラマ動画のフレーム画像が前記端末に表示される範囲の位置に応じて、前記範囲を含み、かつ、所定の画像サイズの第1の高画質データと、前記範囲を含み、かつ、全天周投影球で表現した場合に極の近傍を含む第2の高画質データとのうちのいずれを前記端末に配信するかを判定する判定手段と、前記判定手段による判定結果に応じて、前記第1の高画質データ又は前記第2の高画質データと、前記フレーム画像を前記画像サイズに圧縮した低画質データとを作成する作成手段と、前記作成手段が作成した前記第1の高画質データ又は前記第2の高画質データと前記低画質データとを前記端末に配信する配信手段と、を有することを特徴とする。
パノラマ動画におけるユーザの視野範囲に応じた高画質領域を配信することができる。
従来技術の一例を説明するための図である。 課題を説明するための図である。 本実施形態に係るパノラマ動画配信システムの全体構成の一例を示す図である。 天頂タイルの一例を説明するための図である。 本実施形態に係るパノラマ動画配信システムの機能構成の一例を示す図である。 本実施形態に係るパノラマ動画配信処理の一例を示すシーケンス図である。
以下、本発明の実施の形態(以降、「本実施形態」とも表す。)について、図面を参照しながら詳細に説明する。本実施形態では、正距円筒図法で表現されたパノラマ動画におけるユーザの視野範囲の位置(垂直角度θの値)に応じて、部分領域タイル又は全天周投影球の極付近をカバーするタイル(後述する天頂タイル)のいずれか配信するパノラマ動画配信システム1について説明する。
ここで、部分領域タイル及び天頂タイルは、いずれも全体縮小タイルと比べて高画質なタイルであるものとする。したがって、部分領域タイル及び天頂タイルを「高画質タイル」、全体縮小タイルを「低画質タイル」とも称する。また、タイルとは、正距円筒図法で表現されたパノラマ動画における矩形領域のことである。ただし、タイルは必ずしも矩形でなくても良く、例えば、三角形や円形等の任意の形状の領域であっても良い。
また、パノラマ動画とは、全天周投影球で表現される画像(又は、この画像を正距円筒図法で表現した画像)をフレーム画像とする動画のことである。本実施形態では、パノラマ動画の各フレーム画像は、正距円筒図法で表現されているものとする。この場合、パノラマ動画は、視聴の際のレンダリング時に、正距円筒図法で表現されているフレーム画像が全天周投影球上のテキスチャとしてマッピングされ、全天周投影球で表現される。
なお、パノラマ動画には音声が含まれていても良いし、音声は含まれていなくても良い。また、パノラマ動画としては実写を想定するが、必ずしも実写である必要はなく、例えば、CG(コンピュータグラフィックス)やアニメーション等であっても良い。
<全体構成>
まず、本実施形態に係るパノラマ動画配信システム1の全体構成について、図3を参照しながら説明する。図3は、本実施形態に係るパノラマ動画配信システム1の全体構成の一例を示す図である。
図3に示すように、本実施形態に係るパノラマ動画配信システム1には、パノラマ動画配信サーバ10と、1以上の端末20とが含まれる。また、パノラマ動画配信サーバ10と、端末20とは、例えばインターネット等のネットワークNを介して通信可能に接続されている。
パノラマ動画配信サーバ10は、端末20からの要求に応じて、パノラマ動画をストリーミング配信するコンピュータ又はコンピュータシステムである。このとき、パノラマ動画配信サーバ10は、当該端末20に表示される視野範囲の位置(垂直角度θの値)に応じて、部分領域タイル又は後述する天頂タイルと、全体縮小タイルとを当該端末20に配信する。なお、本実施形態では、パノラマ動画において、端末20に表示される範囲を「視野範囲」と表現するが、視野範囲は、例えば「視認範囲」や「表示範囲」、「視聴範囲」等と称されても良い。
ここで、部分領域タイルとは、パノラマ動画(より正確には、当該パノラマ動画のフレーム画像)において、視野範囲を含む部分領域のデータである。また、天頂タイルとは、後述するように、パノラマ動画(より正確には、当該パノラマ動画のフレーム画像)において、視野範囲を含み、かつ、全天周投影球で天頂タイルに対応する実効領域が極付近(つまり、極の近傍)も含む部分領域のことである。更に、全体縮小タイルとは、パノラマ動画(より正確には、当該パノラマ動画のフレーム画像)全体を圧縮したデータである。
端末20は、パノラマ動画を視聴可能なスマートフォンやタブレット端末、ヘッドマウントディスプレイ、ウェアラブルデバイス、PC(パーソナルコンピュータ)等である。ユーザは、端末20を用いて、パノラマ動画配信サーバ10から配信されたパノラマ動画を視聴することができる。
ここで、ユーザは、端末20を操作等することで、パノラマ動画中における視野範囲を移動又は変更することができる。このような操作としては、例えば、端末20のディスプレイに対するスワイプ操作やフリック操作、視野範囲の移動ボタンの押下操作等であっても良いし、マウス等のポインティングデバイスを用いた視野範囲の移動ボタンの押下操作等であっても良い。また、上下左右の全方位360度の向きを検出可能なセンサを端末20が備えている場合には、当該端末20の向きを変更することで、視野範囲の移動又は変更を行うことができても良い。
なお、図1に示すパノラマ動画配信システム1の構成は一例であって、他の構成であっても良い。例えば、端末20に対してパノラマ動画をライブ配信する場合には、上下左右の全方位360度の動画を撮影可能なカメラ装置や音を収集するマイク等がパノラマ動画配信システム1に含まれていても良い。また、例えば、端末20に対してパノラマ動画をオンデマンド配信する場合には、パノラマ動画を保持する記憶装置等がパノラマ動画配信システム1に含まれていても良い。
<天頂タイル>
次に、天頂タイルについて、図4を参照しながら説明する。図4は、天頂タイルの一例を説明するための図である。以降では、視野範囲の位置は、当該視野範囲の中心座標で表されるものとする。なお、中心座標は、水平角度φと垂直角度θとの組(φ,θ)で表される。
図4(a)に示すように、視野範囲の中心座標の垂直角度θがπに近い場合(言い換えれば、中心座標の垂直角度θが第1の閾値Th以上の場合)、パノラマ動画配信サーバ10は、当該視野範囲を含み、かつ、4頂点が(0,π),(0,θ),(2π,θ),(2π,π)で表される天頂タイル(以降では、この天頂タイルを「第1の天頂タイル」とも表す。)を配信する。この第1の天頂タイルの実効領域は、北極点の付近を含むものとなる。
ここで、θは、第1の天頂タイルの高さ(垂直角度方向の幅)を決定するためのパラメータである。このθは、予め決められた値であっても良いし、ユーザが設定することができても良い。なお、視野範囲が第1の天頂タイルに含まれる必要があるため、π−θが視野範囲の高さ(垂直角度方向の幅)より大きくなるようにθが決定される必要がある。また、同様の理由から第1の閾値Thは、θに応じて決定される。例えば、εをパラメータ、視野範囲の高さをhとして、第1の閾値Th=θ+h×1/2+ε等と決定される。
図4(b)に示すように、視野範囲の中心座標の垂直角度θが0に近い場合(言い換えれば、中心座標の垂直角度θが第2の閾値Th以下の場合)、パノラマ動画配信サーバ10は、当該視野範囲を含み、かつ、4頂点が(0,θ),(0,0),(2π,0),(2π,θ)で表される天頂タイル(以降では、この天頂タイルを「第2の天頂タイル」とも表す。)を配信する。この第2の天頂タイルの実効領域は、南極点の付近を含むものとなる。
ここで、θは、第2の天頂タイルの高さを決定するためのパラメータである。このθは、予め決められた値であっても良いし、ユーザが設定することができても良い。なお、視野範囲が第2の天頂タイルに含まれる必要があるため、θが視野範囲の高さより大きくなるようにθが決定される必要がある。また、同様の理由から第2の閾値Thは、θに応じて決定される。例えば、εをパラメータ、視野範囲の高さをhとして、第2の閾値Th=θ−h×1/2−ε等と決定される。
なお、上記のパラメータθ及びθの関係について、π−θ≠θであっても良いし、π−θ=θであっても良い。π−θ≠θである場合は第1の天頂タイルの高さと第2の天頂タイルの高さとが異なる一方で、π−θ=θである場合は第1の天頂タイルの高さと第2の天頂タイルの高さとが同じになる。
以上のように、本実施形態に係るパノラマ動画配信サーバ10は、視野範囲の位置が垂直角度θ=πに近くなった場合又は視野範囲の位置が垂直角度θ=0に近くなった場合、部分領域タイルの代わりに、天頂タイルを端末20に配信する。これにより、全天周投影球での実効領域を大きくすることができる。
また、上記では、視野範囲の位置が垂直角度θ=πに近くなった場合又は視野範囲の位置が垂直角度θ=0に近くなった場合に天頂タイルを端末20に配信するものとしたが、これ以外にも、例えば、ユーザの視野範囲の履歴(視野範囲の中心座標の履歴)等を用いて視野範囲の位置が垂直角度θ=π又はθ=0に近くなることを予測した上で、この予測結果に応じて天頂タイルを端末20に配信するようにしても良い。
なお、正距円筒図法で表現されたパノラマ動画は、極に近い程(つまり、垂直角度θがπ/2から離れる程)、所定の単位領域当たりの情報量が減少する。このため、天頂タイルは部分領域タイルと同等程度のデータサイズで配信することが可能である。
<機能構成>
次に、本実施形態に係るパノラマ動画配信システム1の機能構成について、図5を参照しながら説明する。図5は、本実施形態に係るパノラマ動画配信システム1の機能構成の一例を示す図である。
図5に示すように、本実施形態に係るパノラマ動画配信システム1のパノラマ動画配信サーバ10は、機能部として、動画配信処理部101を有する。当該機能部は、パノラマ動画配信サーバ10にインストールされた1以上のプログラムがCPU(Central Processing Unit)等に実行させる処理により実現される。
動画配信処理部101は、端末20からの要求に応じて、パノラマ動画(すなわち、パノラマ動画の各フレーム画像の部分領域タイル又は天頂タイルと全体縮小タイル)を当該端末20に配信する処理を実行する。ここで、動画配信処理部101には、判定部111と、タイル作成部112と、配信部113とが含まれる。
判定部111は、高画質タイルとして部分領域タイル又は天頂タイルのいずれを配信するかを判定する。ここで、判定部111は、視野範囲の中心座標の垂直角度θと、所定の閾値(第1の閾値Th及び第2の閾値Th)とを比較判定することで、部分領域タイル又は天頂タイルのいずれを配信するかを判定する。
タイル作成部112は、判定部111の判定結果に応じて、高画質タイルと低画質タイルとを作成する。すなわち、タイル作成部112は、高画質タイルとして部分領域タイルを配信すると判定部111が判定した場合、部分領域タイルと全体縮小タイルとを作成する。一方で、タイル作成部112は、高画質タイルとして天頂タイルを配信すると判定部111が判定した場合、天頂タイルと全体縮小タイルとを作成する。
なお、例えば、端末20に対してパノラマ動画をライブ配信する場合には、タイル作成部112は、カメラ装置等から受信したパノラマ動画を用いて、高画質タイルと低画質タイルとを作成する。一方で、例えば、端末20に対してパノラマ動画をオンデマンド配信する場合には、タイル作成部112は、所定の記憶装置等に予め保持されているパノラマ動画を用いて、高画質タイルと低画質タイルとを作成する。
配信部113は、タイル作成部112が作成した高画質タイル及び低画質タイルを端末20に配信する。
また、図5に示すように、本実施形態に係るパノラマ動画配信システム1の端末20は、機能部として、動画視聴処理部201を有する。当該機能部は、端末20にインストールされた1以上のプログラムがCPUに実行させる処理により実現される。
動画視聴処理部201は、パノラマ動画を表示するためのタイル配信要求をパノラマ動画配信サーバ10に送信する。ここで、タイル配信要求には、例えば、視野範囲の中心座標又は当該中心座標を特定するための情報が含まれる。視野範囲の中心座標を特定するための情報としては、例えば、視野範囲の各頂点の座標等が挙げられる。
また、動画視聴処理部201は、パノラマ動画配信サーバ10から配信されたタイル(高画質タイル及び低画質タイル)によりパノラマ動画を表示する。これにより、端末20には、パノラマ動画配信サーバ10からストリーミング配信されたパノラマ動画が表示される。
<パノラマ動画配信処理>
次に、パノラマ動画配信サーバ10がパノラマ動画を端末20に配信する処理(パノラマ動画配信処理)について、図6を参照しながら説明する。図6は、本実施形態に係るパノラマ動画配信処理の一例を示すシーケンス図である。以降のステップS101〜ステップS107は、例えば、パノラマ動画のフレーム画像の或るまとまり(例えば、1秒乃至数秒間のフレーム画像群)毎に繰り返し実行される。
まず、端末20の動画視聴処理部201は、タイル配信要求をパノラマ動画配信サーバ10に送信する(ステップS101)。ここで、タイル配信要求には、例えば、視野範囲の中心座標又は当該中心座標を特定するための情報が含まれる。
パノラマ動画配信サーバ10の動画配信処理部101は、判定部111により、高画質タイルとして部分領域タイル又は天頂タイルのいずれを配信するかを判定する(ステップS102)。すなわち、判定部111は、視野範囲の中心座標の垂直角度θと、所定の閾値(第1の閾値Th及び第2の閾値Th)とを比較判定することで、部分領域タイル又は天頂タイルのいずれを配信するかを判定する。
ここで、中心座標の垂直角度θが第1の閾値Th未満かつ第2の閾値Thより大である場合、判定部111は、高画質タイルとして部分領域タイルを配信すると判定する。一方で、中心座標の垂直角度θが第1の閾値Th以上又は第2の閾値Th以下であると場合、判定部111は、高画質タイルとして天頂タイルを配信すると判定する。
なお、ユーザは、天頂タイルの使用有無を設定することができても良い。天頂タイルの使用有無が「使用無」に設定されている場合には、上記のステップS102の判定を行わずに、以降のステップS103のみを実行すれば良い。
ステップS102で高画質タイルとして部分領域タイルを配信すると判定された場合、パノラマ動画配信サーバ10の動画配信処理部101は、タイル作成部112により、高画質タイルとして部分領域タイルを作成する(ステップS103)。すなわち、タイル作成部112は、視野範囲を含み、かつ、所定の画像サイズの部分領域タイルを作成する。所定の画像サイズとしては、例えば、HDサイズ(1280×720)やフルHDサイズ(1920×1080)等が挙げられる。部分領域タイルの画像サイズとしてどのような画像サイズを利用するかは、例えば、ユーザにより予め設定される。
一方で、ステップS102で高画質タイルとして天頂タイルを配信すると判定された場合、パノラマ動画配信サーバ10の動画配信処理部101は、タイル作成部112により、高画質タイルとして天頂タイルを作成する(ステップS104)。すなわち、タイル作成部112は、視野範囲を含み、かつ、所定の4頂点で特定される天頂タイルを作成する。
ここで、中心座標の垂直角度θが第1の閾値Th以上である場合、タイル作成部112は、4頂点{(0,π),(0,θ),(2π,θ),(2π,π)}で特定される第1の天頂タイルを作成する。一方で、中心座標の垂直角度θが第2の閾値Th以下である場合、タイル作成部112は、4頂点{(0,θ),(0,0),(2π,0),(2π,θ)}で特定される第2の天頂タイルを作成する。
なお、タイル作成部112は、第1の天頂タイル又は第2の天頂タイルを、上記のステップS103で作成される部分領域タイルと同じ画像サイズに圧縮しても良い。
ステップS103又はステップS104に続いて、パノラマ動画配信サーバ10の動画配信処理部101は、タイル作成部112により、低画質タイルとして全体縮小タイルを作成する(ステップS105)。すなわち、タイル作成部112は、パノラマ動画のフレーム画像を、上記のステップS103で作成される部分領域タイルと同じ画像サイズに圧縮した全体縮小タイルを作成する。
例えば、パノラマ動画のフレーム画像が4Kサイズ(3840×2160)、部分領域タイルがHDサイズである場合、タイル作成部112は、当該フレーム画像をHDサイズに圧縮することで全体縮小タイルを作成する。
なお、上記のステップS103〜ステップS105では、フレーム画像群に含まれる各フレーム画像から部分領域タイル又は天頂タイルと全体縮小タイルとがそれぞれ作成される。
次に、パノラマ動画配信サーバ10の動画配信処理部101は、配信部113により、高画質タイル(部分領域タイル又は天頂タイル)と低画質タイル(全体縮小タイル)とを端末20に配信する(ステップS106)。
端末20の動画視聴処理部201は、パノラマ動画配信サーバ10から配信されたパノラマ動画(高画質タイル及び低画質タイル)を表示(再生)する(ステップS107)。このとき、動画視聴処理部201は、全体縮小タイルを元の画像サイズ(すなわち、元のフレーム画像のサイズ)に伸張した上でパノラマ動画を再生する。例えば、パノラマ動画のフレーム画像が4Kサイズである場合、動画配信処理部101は、全体縮小タイルを4Kサイズに伸張する。これにより、端末20のユーザはパノラマ動画を視聴することができる。なお、圧縮及び伸張が行われることにより、全体縮小タイルは、部分領域タイル及び天頂タイルよりも低画質で表示されることになる。
<まとめ>
以上のように、本実施形態に係るパノラマ動画配信システム1は、端末20からの要求に応じて、視野範囲を含む高画質タイルと、視野範囲外の低画質タイルとをパノラマ動画配信サーバ10が配信する。これにより、本実施形態に係るパノラマ動画配信システム1では、例えば、端末20のユーザが視野範囲を高画質タイル外に移動させたような場合であっても、低画質タイルによりパノラマ動画の再生を継続させることができるようになる。
また、本実施形態に係るパノラマ動画配信システム1は、全天周投影球上の視野範囲の位置が極(北極点又は南極点)に近い場合には、高画質タイルとして、部分領域タイルの代わりに天頂タイルを配信する。これにより、本実施形態に係るパノラマ動画配信システム1では、全天周投影球上で視野範囲が極に近い場合であっても、高画質タイルがカバーする実効領域の範囲を広く確保することができる。このため、例えば、天頂タイル内でユーザが視野範囲を移動させたような場合に、高画質なパノラマ動画なユーザに提供することができるようになる。
なお、本実施形態に係るパノラマ動画配信システム1では、全天周投影球上の視野範囲の位置が極に近い場合には、高画質タイルとして、部分領域タイルの代わりに天頂タイルを配信する場合について説明したが、これに限られず、例えば、端末20に配信する部分領域タイルのアスペクト比を変更(例えば、極に近いほど部分領域タイルの横のサイズを大きくする等)するようにしても良い。
また、本実施形態に係るパノラマ動画配信システム1では、パノラマ動画配信サーバ10が端末20に対して、ネットワークNを介してパノラマ動画を配信する場合(つまり、パノラマ動画がネットワーク配信される場合)について説明したが、これに限られない。すなわち、本実施形態は、例えば、パノラマ動画配信サーバ10の機能を端末20が有しており、端末20がローカルストレージ内のパノラマ動画(例えば、端末20のHDD等に格納されているパノラマ動画)を再生する場合についても同様に適用することができる。これにより、端末20がパノラマ動画を再生する際における処理負荷等を軽減させることができるようになる。
本発明は、具体的に開示された上記の実施形態に限定されるものではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。
1 パノラマ動画配信システム
10 パノラマ動画配信サーバ
20 端末
101 動画配信処理部
111 判定部
112 タイル作成部
113 配信部
201 動画視聴処理部

Claims (9)

  1. パノラマ動画を再生する端末とネットワークを介して接続される動画配信装置であって、
    前記パノラマ動画のフレーム画像が前記端末に表示される範囲の位置に応じて、前記範囲を含み、かつ、所定の画像サイズの第1の高画質データと、前記範囲を含み、かつ、全天周投影球で表現した場合に極の近傍を含む第2の高画質データとのうちのいずれを前記端末に配信するかを判定する判定手段と、
    前記判定手段による判定結果に応じて、前記第1の高画質データ又は前記第2の高画質データと、前記フレーム画像を前記画像サイズに圧縮した低画質データとを作成する作成手段と、
    前記作成手段が作成した前記第1の高画質データ又は前記第2の高画質データと前記低画質データとを前記端末に配信する配信手段と、
    を有することを特徴とする動画配信装置。
  2. 前記作成手段は、
    前記判定手段により前記第2の高画質データを前記端末に配信すると判定された場合、前記第2の高画質データを前記画像サイズに圧縮した第3の高画質データを作成し、
    前記配信手段は、
    前記第3の高画質データと前記低画質データとを前記端末に配信する、ことを特徴とする請求項1に記載の動画配信装置。
  3. 前記判定手段は、
    前記パノラマ動画のフレーム画像を正距円筒図法で表現した場合に、前記範囲の中心座標の垂直角度が第1の閾値未満かつ第2の閾値より大であるとき、前記第1の高画質データを前記端末に配信すると判定し、前記中心座標の垂直角度が第1の閾値以上又は前記第2の閾値以下であるとき、前記第2の高画質データを前記端末に配信すると判定する、ことを特徴とする請求項1又は2に記載の動画配信装置。
  4. 前記作成手段は、
    前記判定手段により前記第2の高画質データを前記端末に配信すると判定された場合に、前記中心座標の垂直角度が第1の閾値以上であるときは、全天周投影球で表現した場合に北極の近傍を含む第2の高画質データを作成し、前記中心座標の垂直角度が第2の閾値以下であるときは、全天周投影球で表現した場合に南極の近傍を含む第2の高画質データを作成する、ことを特徴とする請求項3に記載の動画配信装置。
  5. パノラマ動画を配信する動画配信装置とネットワークを介して接続される端末であって、
    前記パノラマ動画のフレーム画像が前記端末に表示される範囲の位置に応じて、前記範囲を含み、かつ、所定の画像サイズの第1の高画質データ、又は、前記範囲を含み、かつ、全天周投影球で表現した場合に極の近傍を含む第2の高画質データと、前記フレーム画像を前記画像サイズに圧縮した低画質データとを前記動画配信装置から受信する受信手段と、
    前記受信手段が受信した前記第1の高画質データ又は前記第2の高画質データと前記低画質データとに基づいて、前記パノラマ動画を再生する再生手段と、
    を有することを特徴とする端末。
  6. パノラマ動画を再生する端末であって、
    前記パノラマ動画のフレーム画像が前記端末に表示される範囲の位置に応じて、前記範囲を含み、かつ、所定の画像サイズの第1の高画質データと、前記範囲を含み、かつ、全天周投影球で表現した場合に極の近傍を含む第2の高画質データとのうちのいずれを前記端末に配信するかを判定する判定手段と、
    前記判定手段による判定結果に応じて、前記第1の高画質データ又は前記第2の高画質データと、前記フレーム画像を前記画像サイズに圧縮した低画質データとを作成する作成手段と、
    前記作成手段が作成した前記第1の高画質データ又は前記第2の高画質データと前記低画質データとを表示する表示手段と、
    を有することを特徴とする端末。
  7. パノラマ動画を再生する端末と、該端末とネットワークを介して接続される動画配信装置とが含まれる動画配信システムであって、
    前記パノラマ動画のフレーム画像が前記端末に表示される範囲の位置に応じて、前記範囲を含み、かつ、所定の画像サイズの第1の高画質データと、前記範囲を含み、かつ、全天周投影球で表現した場合に極の近傍を含む第2の高画質データとのうちのいずれを前記端末に配信するかを判定する判定手段と、
    前記判定手段による判定結果に応じて、前記第1の高画質データ又は前記第2の高画質データと、前記フレーム画像を前記画像サイズに圧縮した低画質データとを作成する作成手段と、
    前記作成手段が作成した前記第1の高画質データ又は前記第2の高画質データと前記低画質データとを前記端末に配信する配信手段と、
    を有することを特徴とする動画配信システム。
  8. パノラマ動画を再生する端末とネットワークを介して接続される動画配信装置が、
    前記パノラマ動画のフレーム画像が前記端末に表示される範囲の位置に応じて、前記範囲を含み、かつ、所定の画像サイズの第1の高画質データと、前記範囲を含み、かつ、全天周投影球で表現した場合に極の近傍を含む第2の高画質データとのうちのいずれを前記端末に配信するかを判定する判定手順と、
    前記判定手順による判定結果に応じて、前記第1の高画質データ又は前記第2の高画質データと、前記フレーム画像を前記画像サイズに圧縮した低画質データとを作成する作成手順と、
    前記作成手順が作成した前記第1の高画質データ又は前記第2の高画質データと前記低画質データとを前記端末に配信する配信手順と、
    を実行することを特徴とする動画配信方法。
  9. コンピュータを、請求項1乃至4の何れか一項に記載の動画配信装置における各手段として機能させるためのプログラム。
JP2018212404A 2018-11-12 2018-11-12 動画配信装置、端末、動画配信システム、動画配信方法、及びプログラム Active JP6688367B1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018212404A JP6688367B1 (ja) 2018-11-12 2018-11-12 動画配信装置、端末、動画配信システム、動画配信方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018212404A JP6688367B1 (ja) 2018-11-12 2018-11-12 動画配信装置、端末、動画配信システム、動画配信方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP6688367B1 JP6688367B1 (ja) 2020-04-28
JP2020080455A true JP2020080455A (ja) 2020-05-28

Family

ID=70413892

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018212404A Active JP6688367B1 (ja) 2018-11-12 2018-11-12 動画配信装置、端末、動画配信システム、動画配信方法、及びプログラム

Country Status (1)

Country Link
JP (1) JP6688367B1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002312778A (ja) * 2001-04-09 2002-10-25 Be Here Corp モーションパノラマ画像を電子的に配信する方法および装置
JP2018026670A (ja) * 2016-08-09 2018-02-15 日本電信電話株式会社 映像配信システム、端末装置、配信サーバ、映像配信方法、映像表示方法、映像配信プログラム及び映像表示プログラム
US20180160160A1 (en) * 2016-12-05 2018-06-07 Adobe Systems Incorporated Prioritizing tile-based virtual reality video streaming using adaptive rate allocation
EP3367626A1 (en) * 2017-02-27 2018-08-29 Nokia Solutions and Networks Oy Providing content
JP2018525852A (ja) * 2015-05-27 2018-09-06 グーグル エルエルシー 球面ビデオのストリーミング
US20180270468A1 (en) * 2017-03-15 2018-09-20 Avago Technologies General Ip (Singapore) Pte. Ltd. 360 degree video with combined projection format

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002312778A (ja) * 2001-04-09 2002-10-25 Be Here Corp モーションパノラマ画像を電子的に配信する方法および装置
JP2018525852A (ja) * 2015-05-27 2018-09-06 グーグル エルエルシー 球面ビデオのストリーミング
JP2018026670A (ja) * 2016-08-09 2018-02-15 日本電信電話株式会社 映像配信システム、端末装置、配信サーバ、映像配信方法、映像表示方法、映像配信プログラム及び映像表示プログラム
US20180160160A1 (en) * 2016-12-05 2018-06-07 Adobe Systems Incorporated Prioritizing tile-based virtual reality video streaming using adaptive rate allocation
EP3367626A1 (en) * 2017-02-27 2018-08-29 Nokia Solutions and Networks Oy Providing content
US20180270468A1 (en) * 2017-03-15 2018-09-20 Avago Technologies General Ip (Singapore) Pte. Ltd. 360 degree video with combined projection format

Also Published As

Publication number Publication date
JP6688367B1 (ja) 2020-04-28

Similar Documents

Publication Publication Date Title
US11303881B2 (en) Method and client for playing back panoramic video
CN109417624B (zh) 用于提供和显示内容的装置和方法
JP6410918B2 (ja) パノラマ映像コンテンツの再生に使用するシステム及び方法
EP3466083B1 (en) Spatially tiled omnidirectional video streaming
Azevedo et al. Visual distortions in 360° videos
US20180310010A1 (en) Method and apparatus for delivery of streamed panoramic images
US20160277772A1 (en) Reduced bit rate immersive video
JP7017866B2 (ja) 従来型描画機器及び没入型描画機器用の没入型ビデオのフォーマット化の方法、装置及びストリーム
WO2018121333A1 (zh) 一种360度vr全景图形图像及视频实时生成方法
CN112204993B (zh) 使用重叠的被分区的分段的自适应全景视频流式传输
US11941748B2 (en) Lightweight view dependent rendering system for mobile devices
WO2021238454A1 (zh) 直播视频的展示方法、装置、终端和可读存储介质
TWI637355B (zh) 紋理貼圖之壓縮方法及其相關圖像資料處理系統與產生360度全景視頻之方法
JP7177034B2 (ja) レガシー及び没入型レンダリングデバイスのために没入型ビデオをフォーマットする方法、装置、及びストリーム
US11698680B2 (en) Methods and systems for decoding and rendering a haptic effect associated with a 3D environment
JP6224516B2 (ja) エンコード方法およびエンコードプログラム
JPWO2019078033A1 (ja) 再生装置および方法、並びに、生成装置および方法
CN113286138A (zh) 一种全景视频显示方法及显示设备
US10607396B2 (en) Dynamic rendering of low frequency objects in a virtual reality system
JP6688367B1 (ja) 動画配信装置、端末、動画配信システム、動画配信方法、及びプログラム
JP6394682B2 (ja) 方法および画像処理装置
CN112438051B (zh) 由终端执行的方法
Shi et al. Latency Adaptive Streaming of 8K 360 Degree Video to Mobile VR Headsets
Shi et al. Real time streaming of 8K 360 degree video to mobile VR headsets
JP2023085913A (ja) 動画配信システム、動画配信装置、方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181112

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200128

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200310

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200403

R150 Certificate of patent or registration of utility model

Ref document number: 6688367

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250