JP2018026670A - 映像配信システム、端末装置、配信サーバ、映像配信方法、映像表示方法、映像配信プログラム及び映像表示プログラム - Google Patents

Abstract

【課題】１つの映像ストリームを、限られた伝送帯域で、観察者の注目する領域の画質を高め、さらに多数の利用者に対して配信サーバ側の負荷増大を少なくすることができる映像配信システムを提供する。
【解決手段】配信対象の映像の注目領域毎に異なる重み分布を付与し、重み分布に応じた符号量となるように符号化を行ったビットストリームを蓄積するビットストリーム蓄積部と、ビットストリームを配信する映像配信部を備える配信サーバと、ビットストリームを受信して復号する復号部と、復号したビットストリームを表示する表示部とを備える端末装置とを備えた映像配信システム。
【選択図】図１

Description

本発明は、映像配信システム、端末装置、配信サーバ、映像配信方法、映像表示方法、映像配信プログラム及び映像表示プログラムに関する。

従来から、入力映像を複数解像度に変換し、それらをタイルと呼ばれる部分領域ごとに分割して符号化しておくことにより、限られた帯域で全体映像と高解像度映像を配信することができる映像配信システムが知られている。この映像配信システムは、視聴者からの注目領域の要求に応じて、全体の低解像度タイルと、注目領域の高解像度タイルを配信し、再生端末側で表示する際、低解像度タイルの注目領域部分のみの画素を高解像度タイルの画素と置き換えることで、注目領域が変更された場合にも映像が途切れることを防止することができる。

ここで領域に関する言葉を定義しておく。注目領域とは、ＲＯＩ（Region of Interest）と呼ばれ、大きなサイズの映像のうち、視聴者が注目している映像の一部の領域のことである。ただし、注目領域の大きさは視聴者によって変更可能であり、注目領域を最大の注目領域とした場合は、注目領域と映像サイズが一致する場合もある。タイルとは、全領域の映像を複数の小さい部分領域に分けたものである。部分領域とは、全領域を予め決められた数の小さな矩形領域に分割したものであり、複数の部分領域を組み合わせてタイルが構成される場合もある。最小範囲領域とは、注目領域に対応するビットストリームを得る際に分割する必要がない映像の部分領域を纏めた映像の部分領域の集合または部分領域そのものである。

図１４は、映像配信システムの構成を示す図である。この図において、符号１は、映像を配信する配信サーバである。符号２１は、ヘッドマウントディスプレイで構成された端末装置である。符号２２は、液晶ディスプレイ等で構成されたデスクトップ型の端末装置である。符号２３は、スマートフォンを挿入して簡易型のヘッドマウントディスプレイを構成する端末装置である。

配信サーバ１では、図１４に示すように、入力映像を複数解像度に変換し、それらをタイルと呼ばれる領域ごとに分割して符号化しておく。そして、配信サーバ１は、端末装置２１〜２３のいずれかからのタイル配信要求に応じて、２枚のタイルを配信する。配信された２枚のタイルを表示する際に、低解像度タイルＢの注目領域部分のみの画素を高解像度タイルＡの画素と置き換えて端末装置２１〜２３の画面に表示する。

図１４においては、タイルＡは高解像度のタイルであり、これが注目領域となる。一方、タイルＢは低解像度の注目領域を含む注目領域以上の広範囲のタイルであり、注目領域が変更された場合に、高解像度のタイルが配信されるまでの間の映像としても用いられる。このようにすることにより、注目領域の変更があった場合でも映像が途切れることなる映像表示を行うことが可能となる。

次に、図１４に示す映像配信システムの詳細な構成と動作を説明する。図１５は、映像配信システムの詳細な構成を示すブロック図である。この図において、符号１は、映像配信を行う配信サーバである。符号２５は、形態を特定しない端末装置である。端末装置２５は、例えば、ヘッドマウントディスプレイ等である。

符号１１は、注目領域に対応するビットストリームを配信するためにビットストリームＲＯＩビットストリームを選択して配信する映像配信部である。符号１２は、注目領域（ＲＯＩ）毎の高画質映像のビットストリームが蓄積されているビットストリーム蓄積部である。符号１３は、全体領域の低画質映像のビットストリームが蓄積されている全体領域ビットストリーム蓄積部である。映像配信部１１は、ビットストリーム蓄積部１２に蓄積されたビットストリームのうち、ＲＯＩ候補領域のビットストリームを選択して配信するとともに、全体領域のビットストリームを併せて配信する。

符号２６は、視聴者の注目領域を特定する情報に基づいて、注目領域の配信要求を出す映像ストリーム要求部である。符号２７は、注目領域のビットストリームを復号して、注目領域の映像を得るＲＯＩ復号部である。符号２８は、全体領域のビットストリームを復号して、注目領域の映像を得る全体復号部である。符号２９は、低解像度タイルの注目領域部分のみの画素を高解像度タイルの画素と置き換えた映像合成して表示する映像合成表示部である。

次に、ビットストリーム蓄積部１２に符号化したビットストリームを出力する符号化装置について説明する。図１６は、配信サーバ１に符号化装置３を接続した構成を示すブロック図である。図１６において、図１５に示す部分と同一の部分には、同じ符号を付与してその説明を省略する。符号化装置３は、例えば８分割された部分領域を含む全領域の映像を入力する。全領域符号化部３１は、映像（＝全領域の映像）を、公知の符号化方式（例えば各種標準規格など）で符号化して、映像に対応するビットストリームを得る。ＲＯＩ符号化部３１は、映像（＝全領域の映像）から、予め定めた複数個のＲＯＩそれぞれの映像に対応するビットストリームを得る。ＲＯＩ符号化部３１は、各ＲＯＩの映像を、それぞれ公知の符号化方式（例えば各種標準規格など）で符号化して、各ＲＯＩに対応するビットストリームを得て、ＲＯＩビットスリーム蓄積部に蓄積する。ＲＯＩ符号化部３１は、例えば、４つ部分領域からなるＲＯＩに対応するビットストリームを３つ得て（１、２、５、６の部分領域、２、３、６、７の部分領域、３、４、７、８の部分領域）、ＲＯＩビットストリーム蓄積部に蓄積する。

このように、従来の技術は、解像度と位置の異なる複数のタイルを符号化しておき、全体の低解像度のタイルと、観察者の注目領域の要求に応じた高解像度のタイルを配信し、利用者側端末で重ね合わせて表示することで、限られた帯域で広範囲・高解像度の映像を配信していた（例えば、特許文献１参照）。

また、利用者の注目領域の要求に応じて高精細な映像を再符号化(トランスコード)して配信する方式もある（例えば、特許文献２参照）。

特許第５４４９２４１号公報 特許第３９３６７０８号公報

ところで、特許文献１では、２つ以上の映像ストリームで配信し、利用者端末側で合成して表示するため、映像ストリーム間の表示内容がずれることを防止するためには、端末装置側で２つの映像ストリームの再生時刻を合わせて表示させる同期処理が必要である。しかしながら、伝送路を通る２つの映像ストリームは必ずしも同時刻に端末装置側に到達するわけではない。そのため、一定期間ストリームを蓄積するバッファを持ち、すべての映像ストリームが到達するのを待ってから表示するために、余剰の遅延を生んでいた。

また、端末装置では、２つのストリームを受信し、復号化し、映像を合成して表示する仕組みが必要となるため、１つのストリームを受信・符号化する一般的な端末装置で動作させることができない。また、端末装置側での計算機負荷が増加するという問題がある。

また、ネットワーク構成や装置によっては１つの端末装置に２つ以上のストリームを配信することを想定していないため、配信ができないケースがある。特許文献２では、利用者側（クライアント側）からの要求に応じて、階層的に符号化されたデータをトランスコードして送信するため、利用者数が多くなった際には、処理の負荷が増大するという問題もある。

本発明は、このような事情に鑑みてなされたもので、映像ストリームに関し、限られた伝送帯域で観察者の注目する領域の画質を高め、さらに多数の利用者に対して配信サーバ側の負荷増大を少なくすることができる映像配信システム、端末装置、配信サーバ、映像配信方法、映像表示方法、映像配信プログラム及び映像表示プログラムを提供することを目的とする。

本発明の一態様は、配信対象の映像の注目領域毎に異なる重み分布を付与し、前記重み分布に応じた符号量となるように符号化を行ったビットストリームを蓄積するビットストリーム蓄積部と、前記ビットストリームを配信する映像配信部を備える配信サーバと、前記ビットストリームを受信して復号する復号部と、復号した前記ビットストリームを表示する表示部とを備える端末装置とを備えた映像配信システムである。

本発明の一態様は、映像の配信を行う配信サーバと、前記映像を表示する端末装置とを備える映像配信システムにおける前記端末装置であって、前記映像の注目領域毎に異なる重み分布を付与し、前記重み分布に応じた符号量となるように符号化を行ったビットストリームを受信して復号する復号部と、復号した前記ビットストリームを表示する表示部とを備える端末装置である。

本発明の一態様は、映像の配信を行う配信サーバと、前記映像を表示する端末装置とを備える映像配信システムにおける前記配信サーバであって、配信対象の映像の注目領域毎に異なる重み分布を付与し、前記重み分布に応じた符号量となるように符号化を行ったビットストリームを蓄積するビットストリーム蓄積部と、前記ビットストリームを配信する映像配信部とを備える配信サーバである。

本発明の一態様は、映像の配信を行う配信サーバと、前記映像を表示する端末装置とを備える映像配信システムが行う映像配信方法であって、前記配信サーバが、配信対象の映像の注目領域毎に異なる重み分布を付与し、前記重み分布に応じた符号量となるように符号化を行ったビットストリームを蓄積するビットストリーム蓄積ステップと、前記配信サーバが、前記ビットストリームを配信する映像配信ステップと、前記端末装置が、前記ビットストリームを受信して復号する復号ステップと、前記端末装置が、復号した前記ビットストリームを表示する表示ステップとを有する映像配信方法である。

本発明の一態様は、映像の配信を行う配信サーバと、前記映像を表示する端末装置とを備える映像配信システムにおける前記端末装置が行う映像表示方法であって、前記映像の注目領域毎に異なる重み分布を付与し、前記重み分布に応じた符号量となるように符号化を行ったビットストリームを受信して復号する復号ステップと、復号した前記ビットストリームを表示する表示ステップとを有する映像表示方法である。

本発明の一態様は、映像の配信を行う配信サーバと、前記映像を表示する端末装置とを備える映像配信システムにおける前記配信サーバが行う映像配信方法であって、配信対象の映像の注目領域毎に異なる重み分布を付与し、前記重み分布に応じた符号量となるように符号化を行ったビットストリームを蓄積するビットストリーム蓄積ステップと、前記ビットストリームを配信する映像配信ステップとを有する映像配信方法である。

本発明の一態様は、コンピュータに、前記映像配信方法を実行させるための映像配信プログラムである。

本発明の一態様は、コンピュータに、前記映像表示方法を実行させるための映像表示プログラムである。

本発明によれば、１つの映像ストリームを、限られた伝送帯域で、観察者の注目する領域の画質を高め、さらに多数の利用者に対して配信サーバ側の負荷の増大を抑えることができるという効果が得られる。

本発明の第１実施形態の構成を示すブロック図である。 図１に示す映像配信システムの詳細な構成を示すブロック図である。 図２に示すビットストリーム蓄積部１４にビットストリームを蓄積する符号化装置を配信サーバ１に接続した構成を示すブロック図である。 図２に示す端末装置２５詳細な構成を示すブロック図である。 局所重みを決定する動作を示す説明図である。 重み分布と映像の例を示す説明図である。 映像ストリーム毎に、正規分布に従う重み分布の中心座標、分散を記憶したテーブルの一例を示す説明図である。 魚眼レンズを搭載したカメラや複数のカメラで全方位撮影した映像を配信する例を示す説明図である。 重み分布の一例を示す説明図である。 重み分布の一例を示す説明図である。 第３実施形態による映像配信システムの構成を示すブロック図である。 局所重み決定部３３の構成を示すブロック図である。 局所重み決定部３３の構成を示すブロック図である。 映像配信システムの構成を示す図である。 映像配信システムの詳細な構成を示すブロック図である。 配信サーバ１に符号化装置３を接続した構成を示すブロック図である。

＜第１実施形態＞
以下、図面を参照して、本発明の第１実施形態による映像配信システムを説明する。図１は、本実施形態による映像配信システムの構成を示す図である。この図において、符号１は、映像を配信する配信サーバである。符号２１は、ヘッドマウントディスプレイで構成された端末装置である。符号２２は、液晶ディスプレイ等で構成されたデスクトップ型の端末装置である。符号２３は、スマートフォンを挿入して簡易型のヘッドマウントディスプレイを構成する端末装置である。

本実施形態による映像配信システムは、見ている領域（注目領域：ＲＯＩ）が他の領域よりも高画質な映像を視聴可能とするために、注目領域のほうがその他の部分より高画質な１つの映像のビットストリームを配信するものである。配信サーバ１は、端末装置２１、２２、２３からの配信要求に応じて、低画質の全領域映像Ｂの一部である注目領域（ＲＯＩ）が高画質映像Ｂになっているものをストリーミング配信を行う。

この映像配信システムを実現するために、想定される複数パターンそれぞれについて、所定の注目領域（ＲＯＩ）がその他の領域よりも高画質な１つの映像の１つのビットストリームを生成し、複数パターンのビットストリームから、１つのビットストリームを選択して、配信する。

次に、図２を参照して、図１に示す映像配信システムの詳細な構成について説明する。図２は、図１に示す映像配信システムの詳細な構成を示すブロック図である。図２において、符号１は、映像の配信を行う配信サーバである。配信サーバ１は、映像配信部１１とビットストリーム蓄積部１４とから構成する。映像配信部１１は、ビットストリーム１４蓄積部に蓄積されたビットストリームのうち、所望の注目領域に重み付けした全体領域ビットストリームを選択して配信する。ビットストリーム蓄積部１４は、予め定めた注目領域に重み付けした（＝予め定めた注目領域が、他の領域よりも高画質である）全体領域映像のビットストリームが、複数種類（複数個のビットストリーム。予め定めた注目領域がそれぞれ異なるビットストリーム。）蓄積されている。

符号２５は、形態を特定しない端末装置である。端末装置２５は、映像ストリーム要求部２５１と、復号部２５２と、表示部２５３とから構成する。映像ストリーム要求部２５１は、映像ストリームの配信要求として、視聴者の注目領域の情報含む配信要求を送出する。復号部２５２は、注目領域が重み付けされた全領域映像のビットストリームを復号して、注目領域が他の領域よりも高画質な映像を得る。表示部２５３は、注目領域が他の領域よりも高画質な映像を表示する。

次に、図３を参照して、図２に示すビットストリーム蓄積部１４にビットストリームを蓄積する符号化装置を配信サーバ１に接続した構成について説明する。図３は、図２に示すビットストリーム蓄積部１４にビットストリームを蓄積する符号化装置を配信サーバ１に接続した構成を示すブロック図である。符号化装置３は、局所重み決定部３３と符号化部３４とを備える。局所重み決定部３３は、全領域の映像中に局所的な重みを付ける。局所重み決定部３３の詳細については、後述する。符号化部３４は、映像（＝全領域の映像）から、予め定めた複数個の領域それぞれの映像に重み付けしたビットストリームを得る。そして、符号化部３４は、重みに従って、映像を、公知の符号化方式（例えば、各種標準規格など）で符号化して、ビットストリームを得る。符号化部３４は、例えば、３つのＲＯＩそれぞれに重み付けした全領域ビットストリームをそれぞれビットストリーム蓄積部１４に蓄積する。

局所重み決定部３３は、以下のいずれかに方法によって局所重み決定を行う。なお、以下の重み付けの方法を組み合わせて重み付けを行ってもよい。
（１）．映像の内容に関係なく映像を領域分けし、領域ごとに重みを決める。
（２）．ユーザの注目領域の基づいて映像を領域分けし、領域ごとに重みを決める。
（２）−１．映像のみから注目領域を抽出(サリエンシ値等)する。
（２）−２．他のユーザの判断をフィードバックして注目領域を抽出(ログ)する。
（２）−３．映像の内容に基づいて人手で領域分け(会場入り口領域等)する。
（３）．映像を見るときの地理的位置により映像を領域分けし、領域ごとに重みを決める。

次に、図４を参照して、図２に示す端末装置２５の詳細を説明する。図４は、図２に示す端末装置２５詳細な構成を示すブロック図である。図４に示す端末装置２５が、図２に示す端末装置２５と異なる点は、映像ストリーム要求部２５１が、要求方法設定部２５４と、注目領域検出部２５５と、注目領域情報決定部２５６と、タイル別重み情報記憶部２５７によって構成されている点である。要求方法設定部２５４は、ユーザの頭部の動きベクトルを選択入力する。注目領域検出部２５５は、ユーザの頭部の動きベクトルをユーザの視聴情報として入力し、頭部の動き予測による注目領域を推定する。注目領域情報決定部２５６は、推定した注目領域に基づくタイルの重みを、注目領域の情報として送出する。タイル別重み情報記憶部２５７は、タイル別重み情報を記憶する。ここでは、タイルが部分領域と同じサイズであるものとして説明する。

注目領域検出部２５５は、以下のいずれかの方法によって注目領域を検出する。
（ａ）．注目領域の動き（動きベクトル）
（ａ）−１．頭部の動き（外部センサを用いる）
（ａ）−２．視線の動き
（ｂ）．幾何学変換後の面積の大小（地理的位置）
（ｃ）．注目領域
（ｃ）−１．タッチパネルやマウスで入力
（ｃ）−２．視線検出（視点）の位置（外部センサを用いる）
（ｃ）−３．ログによる視聴傾向のフィードバック
（ｄ）．コンテンツの内容

また、注目領域情報決定部２５６は、前述の（ａ）（ｂ）（ｃ）（ｄ）のいずれか１つ以上でタイル別の重みを決定する。

次に、具体例を挙げて、前述した映像配信システムの動作を説明する。図５は、本実施形態による映像配信システムの例を示している。符号化部においては、元映像を入力として、複数の映像ストリームを符号化する。符号化にあたっては、映像が記録している領域のうち、注目領域に応じて局所的に符号量の重み付けが異なる重み分布（局所重み分布）をもとに複数の映像ストリームを符号化する。

図５においては、グレースケールにて重みを示しており、白い箇所ほど重みが大きく、符号量を多く割り当てる領域である。この重みがユーザの注目領域に相当し、ユーザが注目している領域の候補を仮定して符号量を多く割り当てられた映像ストリームを複数（ｎ通り）用意しておく。

図６は、重み分布と映像の例を示している。元映像は同一であるが、重みの分布に応じて符号量を割り当てた映像が符号化され、例えば符号Ａ１を重み分布として符号化した映像Ａ３は符号Ａ４の部分に多く符号量が割り当てられる。また、符号Ａ２を重み分布として符号化した映像Ａ３は符号Ａ５の部分に多く符号量が割り当てられ、画質が向上している。

注目領域の形状は例えば矩形や円形などを用いることができるが、特定の形状に限定されるものではない。また、領域の配置は規則的に等間隔に並んでいてもよいし、不規則であってもよい。また、重みは任意の離散値、連続値どちらで規定されていてもよい。

重みに基づいた符号量の割り当ては、例えば量子化ステップ数を変化させることで制御することができ、規格Ｈ．２６４などの符号化方式においては、Quantitative Parameterの係数を設定することで指示することができる。

映像配信部においては、複数の映像ストリームを選択し、ユーザに配信する。ユーザが注目する領域に基づいた要求に対して、ｎ個のストリームのうち１個が配信される。なお、映像ストリームはある時間間隔で区切ったものを配信すれば、時間間隔ごとに要求するストリームを変更することができる。

ここで、映像ストリームの要求はユーザ側にて行う。その実現方法としては、例えば、図４に示すような構成が考えられる。ユーザ側の端末装置２５においては、注目領域検出部２５５、注目領域情報決定部２５６、復号部２５２、表示部２５３を持つことで、ユーザが注目している部分の映像を高画質で観察することができる。

注目領域検出２５５においては、ユーザが映像のうちどこの箇所に注目しているかを検出する。注目領域は、ユーザの操作により映像全体のうち一部分を視聴しているような場合には、表示されている領域を注目領域として用いることができる。

ユーザの操作は、例えばマウス操作、タッチパネルによる操作を用いることができるほか、頭部搭載型の表示装置と組み合わせる場合には、頭部の動作を位置センサや加速度センサなどを用いて頭部の動きや向きにより操作を行うことも可能である。また、注目領域の検出手段の別の実現方法としては、画像処理や筋電位を用いた視線検出により実現することができる。

映像ストリーム要求部２５１においては、注目領域の情報を入力として、その注目領域に多く符号量が割り当てられ高画質な映像を映像配信部１１に対して要求する。注目する領域に対し、どの映像ストリームを要求するかという対応は、あらかじめテーブルやルールを共有する。

例えば、図７に示すようなテーブルにおいては、映像ストリーム毎に、正規分布に従う重み分布の中心座標、分散が記されている。もちろん重み分布は正規分布に限るわけではなく、矩形分布や任意の分布を用いることができる。

また、分布は必ずしもパラメータ化されている必要はなく、重み分布情報自体が映像配信部１１と映像ストリーム要求部２５１で共有するようにしてもよい。この場合、例えば重み分布を注目領域で積分し、最も値の大きな重み分布をもつ映像ストリームを特定して要求するようにしてもよい。また、重み分布の形状を表すそれらのテーブルやルール、もしくは重み分布情報自体は通信経路により配信してもよいし、記録装置により配布がされてもよい。

映像ストリームが要求されると、映像配信部１１は、ユーザに対して対応する映像ストリームが伝送路を介して配信される。ユーザ側の端末装置２５においては、この映像ストリームを復号部２５２により復号し、表示部２５３により表示する。ここで表示部２５３は復号された映像をそのまま平面ディスプレイに表示することも可能であるし、また、その一部を切り取って例えばタブレット型端末のディスプレイに表示するようにしてもよい。また、矩形状に表示するだけでなく、幾何的な処理により変形して（例えば円形）表示するようにしてもよい。その場合、配信された映像は、コンピュータグラフィクスにおけるテクスチャマッピング処理のテクスチャ映像として用いることもできる。

一例として、図８に示すように、魚眼レンズを搭載したカメラや複数のカメラで全方位撮影した映像を配信し、復号部２５２により復号した映像５４をコンピュータ空間上でユーザ視点を取り囲むように配置した球面５１にテクスチャとして貼り付け、ユーザの頭部の動作に合わせて視野の位置・方向を設定し、視野の前に設置した描画面５２に描画することができる。

このようにして描画した映像を頭部搭載型ディスプレイにて表示し、実際の空間上でのユーザの頭部動作を回転センサで検出してその動きに合わせて描画する映像を変化させることで、ユーザは全方位を見回したかのような映像を体験することができる。この場合、球面上におけるユーザの視野５３を注目領域と考えることができ、その映像５４上での対応領域５５の符号量が多く符号化された映像ストリームを映像配信部に要求することで、ユーザの視野内にあり、注目する付近の映像の品質が他の周辺領域に比べて高くなる。

ただし、ここで示したユーザ側の端末装置での実装は一例であり、映像符号化配信において、ユーザの注目する箇所に符号量を多く割り当て、同一条件の配信帯域でユーザの体感品質を高めるような符号化配信方法を提供するものであれば他の方法によって実現してもよい。

ここで、本実施形態における符号化処理の計算量は注目領域の数ｎにより決定され、ユーザ数ｍに依存しない。それにより、例えばユーザ数ｍが数百万など大規模になったとしても、サーバ側が符号化に要する計算機負荷は一定となり、配信の負荷のみが増大する。

配信の負荷を分散処理して解決する手段は、例えばＣＤＮ（Content delivery network）と呼ばれる仕組みが利用可能であり、公知の技術により解決可能である。

＜第２実施形態＞
次に、本発明の第２実施形態による映像配信システムを説明する。本実施形態では、ユーザ側の端末装置でユーザの視点の移動に応じた映像ストリームの要求を行い、映像配信部１１により配信をする。このようにすることで、ユーザが映像ストリームを要求してから配信されて届くまでの伝送経路やバッファでの遅延の影響を低減する。

前述した第１実施形態においては、注目領域が静止している場合には問題ではないが、移動している場合には、必ずしも重み付けをして符号量を多く割り当てた箇所を表示時にユーザが観察しているとは限らない。例えば、要求を行い、配信されて表示されるまでの遅延をΔｔとすると、この期間中に注目領域が移動した場合、必ずしも符号量を多く割り当てた領域を注目しているとは限らない。

例えば、注目領域の中心点（ｘ，ｙ）が速度ベクトル（Ｖｘ，Ｖｙ）で移動していた場合、表示をする際には要求をした位置（ｘ，ｙ）から（ｘ＋ＶｘΔｔ，ｙ＋ＶｙΔｔ）まで移動している。そこで、本実施形態の符号化部３４においては、注目領域の移動パターンに応じた複数の映像ストリームを用意する。その一例として、例えば、注目領域の中心は同じであるが、分布の広がりや形状が異なる複数の重み分布を用いて符号化処理を行う。

例えば図９は、注目領域の中心は同じであるが、分散が異なる正規分布に従う重み分布６１、６２を示している。そして、注目領域の速度Ｖ＝√（Ｖｘ^２＋Ｖｙ^２）に応じた分散σの重み分布で符号化された映像ストリームを要求することで、移動速度が小さいときには局所的に符号量をより集中した映像ストリームをユーザに提示する一方で、移動速度が大きいときには広い範囲で符号量を割り当てている映像ストリームを配信し、注目領域が重みの中心から外れてしまったときの極端な画質の低下を抑止することができる。

また、例えば図１０のように傾きを持つ重み分布を用いることができ、例えば（１）式で表すことができる。

ここで、ρは分布の傾きに関するパラメータ、（ｘ０，ｙ０）は分布の中心点である。そして、分布の方向を現在の速度の方向に応じたものを要求することで、Δｔ後の注目領域が重みのある箇所にあたる可能性を大きくすることができる。

また、Δｔは要求を行って配信されるまでの時間を計測することで分かるため、等速度で移動することを仮定すれば、中心点が（ｘ＋ＶｘΔｔ，ｙ＋ＶｙΔｔ）に移動していることを予測して、その付近で重みが大きい重み分布で符号化された映像ストリームを要求することができる。

このように、ユーザが注目領域を移動している場合においても、注目領域での画質の低下を抑止することができる。ただし、特定の重み分布や予測方法に依存するものではない。

＜第３実施形態＞
次に、本発明の第３実施形態による映像配信システムを説明する。本実施形態では、ユーザの注目領域から要求するストリームを特定する手段を備える。第１実施形態および第２実施形態においては、ユーザ側の端末装置２５で要求するストリームを特定し、配信サーバ１に要求をしていたのに対し、本実施形態の構成をとることで、端末装置２５側の計算負荷を軽減することができる。

図１１は、第３実施形態による映像配信システムの構成を示すブロック図である。ストリームを特定する手段としては、例えば、第１実施形態の映像ストリーム要求部２５１で説明したように注目領域の情報を入力とし、決定することも可能であるし、第２実施形態の映像ストリーム要求部２５１で説明したように移動速度や方向の情報を入力とし、特定するすることもできる。

なお、図１１においては通信経路上に映像ストリーム決定部４を配置したが、映像配信部と同一の装置に組み込むことも可能である。

＜第４実施形態＞
次に、本発明の第４実施形態による映像配信システムを説明する。本実施形態では、個々のユーザごとの注目領域とは別に、多くのユーザに見られやすい領域の重みをあらかじめ大きくし、ユーザごとの要求に応じたものと演算することで、一般的に多くのユーザにとって重要な部分（統計的重み）と、個々のユーザにとって重要な部分の両方に割り当てる符号量を多くする。

図１２は、局所重み決定部３３の構成を示すブロック図である。局所重み決定部３３において、注目領域による重み分布と統計的重み分布を元にして、重みマップ合成部３３１が新たな局所重み分布を作成する。例えば、注目領域による重み分布と統計的重み分布を積演算することで新たな局所重み分布を得ることができるが、作成方法はこの限りではない。

このようにすることで、個々のユーザにとって重要な部分の品質を高めつつ、急な視点移動によって配信が追いつかない場合でも、一般的に重要な部分の再現性は高いため、ユーザ体験を補償することが可能となる。

統計的重みの決定方法としては、参考文献１のように顕著性マップと呼ばれる人の視覚モデルを用いた注目されやすい領域の推定を用いることができる。また、そのようなエッジやコントラストなど低次の特徴量だけでなく、人の顔など高次の特徴量を用いることができる。
参考文献１：L. Itti, C. Koch, and E. Niebur. A model of saliency based visual attention for rapid scene analysis. IEEE TPAMI, 20(11):1254-1259, 1998. 409, 410, 412, 414.

また、そのほかの統計的重みの決定方法として、観察頻度情報を用いることができる。例えば、配信サーバにおいて配信ログとして記録されているため、それを用いればよい。また、そのほかの統計的重みの決定方法として、コンサート会場でのステージ付近など、重要な被写体が存在する箇所が経験則として分かっている場合は重みを大きくすることができる。ただし、統計的重みの決定方法は、ここに記載された限りではなく、多くのユーザに見られやすい箇所を決定する他の手段を適用するようにしてもよい。

＜第５実施形態＞
次に、本発明の第５実施形態による映像配信システムを説明する。本実施形態では、映像が表示される際の幾何変換に応じた重み（地理的重み）をつけた重み分布と注目領域による重み分布を演算することで、最終的な重み分布を計算し、それらに応じた符号量の割り当てをして複数の映像ストリームを符号化する。

注目領域による重み分布は複数の重み分布のバリエーションを持つのに対し、地理的重み分布は個々の注目領域に依存せずに一定の分布であり、例えばそれぞれの注目領域による重み分布と積演算をすることで、最終的な重み分布を得る。ただし、注目領域による重み分布と地理的重み分布から最終的な重み分布を得る手段は積演算に限定されるものではない。また、注目領域による重み分布と地理的重み分布のほか、第４実施形態における統計的重みとの合成演算により重み分布を決定できる。

図１３は、局所重み決定部３３の構成を示すブロック図である。地理的重み分布の決定方法は、例えば、全方位（３６０度）撮影された映像をユーザ側の端末装置でユーザの頭部や視線の動きに応じて表示するような場合、映像をテクスチャマッピングのテクスチャとして配信し、ユーザ側の端末装置２５でコンピュータグラフィクスにより頭部の動きに応じて描画することで実現が可能である。

全方位映像を正距円筒図法により記録し、表示時に球面の内部から観察するようにコンピュータグラフィクスのテクスチャマッピング手法により貼り付けて描画することで実現できる。この場合、正距円筒図法の極付近（図８中、符号５５などθ＝９０，−９０付近）では標準緯線付近（図８中、符号５６などθ＝０付近）に比べて実際の球面における面積が拡大されるため、同一の解像度であった場合、より精細に表示される。

この画質のムラを補正するために、極付近の地理的重みを小さく、標準緯線付近５６の地理的重みを大きくすることで符号量を割り当て、図１３中、符号１００１のようになる。

また、地理的重み分布は、球を内部から観察した場合に限らず、視線と法線がなす角度により決定することができ、球面だけでなくポリゴンと呼ばれる多角形の組み合わせなど任意の被写体形状、任意の被写体の数、任意の視点の位置において有効である。

また、重みとして連続値や複数の離散値だけでなく、二値（例えば０か１）の見えるか見えないかという可視性（visibility）の情報を割り当てることで、見えていない領域に符号量を割り当てないこともできる。

このようにすることで、表示の際に縮小や解像度が低い場合においても、不必要に符号量を割り当て、伝送帯域を多く必要とすることを防ぐことができる。

以上説明したように、重み付けをした符号化をすることで、ユーザが注目していない箇所の符号量を削減し、伝送帯域を節約することができる。その一方で、重み付けにより、注目している箇所に符号量を割り当て、画質を向上させることで、ユーザの体感品質が向上する。また、１つのストリームで伝送することができる。また、あらかじめ符号化しておくことで、要求してから重みを割り当てて符号化するのに対して、符号化にかかる時間と、要求数が増えたときの計算機負荷を抑えることができる。

また、移動の情報を元にすることで注目領域の予測が可能となり、注目領域の変化に対し、高画質領域の反映が遅れないようにすることができる。

ユーザ側の端末装置で、必要な映像ストリームを決定する演算を行う必要がなくなり、端末装置の演算量を低減することができる。

重み付けの演算をすることで、多くのユーザが注目しにくい箇所の符号量を削減し、伝送帯域を節約することができる。その一方で、重み付けにより、注目されやすい箇所に符号量を割り当て、画質を向上させることで、ユーザの体感品質が向上する。

また、ユーザの注目領域の移動が速い場合には、多くのユーザが注目しやすい箇所の画質は高いため、個々のユーザの体感品質の低下を防ぐことができる。また、表示の際に高い解像度の表示装置を必要としない。

前述した実施形態における映像配信システムの全部または一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。

以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。

１つの映像ストリームを、限られた伝送帯域で、観察者の注目する領域の画質を高め、さらに多数の利用者に対して配信サーバ側の負荷増大を少なくすることが不可欠な用途にも適用できる。

１・・・配信サーバ、１１・・・映像配信部、１４・・・ビットストリーム蓄積部、２１、２２、２３、２５・・・端末装置、２５１・・・映像ストリーム要求部、２５２・・・復号部、２５３・・・表示部、２５４・・・要求方法設定部、２５５・・・注目領域検出部、２５６・・・注目領域情報決定部、２５７・・・タイル別重み情報記憶部、３・・・符号化装置、３３・・・局所重み決定部、３３１・・・重みマップ合成部、３３２・・・重みマップ合成部、３４・・・符号化部、４・・・映像ストリーム特定部

Claims (8)

1. 配信対象の映像の注目領域毎に異なる重み分布を付与し、前記重み分布に応じた符号量となるように符号化を行ったビットストリームを蓄積するビットストリーム蓄積部と、
   前記ビットストリームを配信する映像配信部を備える配信サーバと、
   前記ビットストリームを受信して復号する復号部と、
   復号した前記ビットストリームを表示する表示部とを備える端末装置と
   を備えた映像配信システム。
2. 映像の配信を行う配信サーバと、前記映像を表示する端末装置とを備える映像配信システムにおける前記端末装置であって、
   前記映像の注目領域毎に異なる重み分布を付与し、前記重み分布に応じた符号量となるように符号化を行ったビットストリームを受信して復号する復号部と、
   復号した前記ビットストリームを表示する表示部と
   を備える端末装置。
3. 映像の配信を行う配信サーバと、前記映像を表示する端末装置とを備える映像配信システムにおける前記配信サーバであって、
   配信対象の映像の注目領域毎に異なる重み分布を付与し、前記重み分布に応じた符号量となるように符号化を行ったビットストリームを蓄積するビットストリーム蓄積部と、
   前記ビットストリームを配信する映像配信部と
   を備える配信サーバ。
4. 映像の配信を行う配信サーバと、前記映像を表示する端末装置とを備える映像配信システムが行う映像配信方法であって、
   前記配信サーバが、配信対象の映像の注目領域毎に異なる重み分布を付与し、前記重み分布に応じた符号量となるように符号化を行ったビットストリームを蓄積するビットストリーム蓄積ステップと、
   前記配信サーバが、前記ビットストリームを配信する映像配信ステップと、
   前記端末装置が、前記ビットストリームを受信して復号する復号ステップと、
   前記端末装置が、復号した前記ビットストリームを表示する表示ステップと
   を有する映像配信方法。
5. 映像の配信を行う配信サーバと、前記映像を表示する端末装置とを備える映像配信システムにおける前記端末装置が行う映像表示方法であって、
   前記映像の注目領域毎に異なる重み分布を付与し、前記重み分布に応じた符号量となるように符号化を行ったビットストリームを受信して復号する復号ステップと、
   復号した前記ビットストリームを表示する表示ステップと
   を有する映像表示方法。
6. 映像の配信を行う配信サーバと、前記映像を表示する端末装置とを備える映像配信システムにおける前記配信サーバが行う映像配信方法であって、
   配信対象の映像の注目領域毎に異なる重み分布を付与し、前記重み分布に応じた符号量となるように符号化を行ったビットストリームを蓄積するビットストリーム蓄積ステップと、
   前記ビットストリームを配信する映像配信ステップと
   を有する映像配信方法。
7. コンピュータに、請求項４に記載の映像配信方法を実行させるための映像配信プログラム。
8. コンピュータに、請求項５に記載の映像表示方法を実行させるための映像表示プログラム。