JP2017183816A - 動画配信サーバ、動画出力装置、動画配信システム、及び動画配信方法 - Google Patents

Abstract

【課題】実空間上の経路に対応した動画をネットワークを介して配信することが可能な動画配信サーバ、動画出力装置、動画配信システム、及び動画配信方法を提供する。【解決手段】 ネットワーク４を介して動画出力装置２と動画配信サーバ３とが通信接続された動画配信システム１において、動画に設定された複数のキーフレームの画像データ（全方位画像）を予め動画出力装置２に転送しておく。動画配信サーバ３は動画出力装置２から送信されるユーザの視点位置及び進行方向の情報を含むユーザステータス情報に基づき視点位置の直前のキーフレームを特定し、特定したキーフレーム以降の差分動画を動画出力装置２へ送信する。動画出力装置２は視点位置の直前のキーフレームと受信した差分動画とから出力する動画を生成し、出力する。【選択図】図１４

Description

本発明は、動画配信サーバ、動画出力装置、動画配信システム、及び動画配信方法に関し、詳細には、空間を移動するユーザの視点から見た動画の出力に関する。

魚眼レンズや全方位ミラーを装着したカメラを用いて周囲３６０°の視界を持つ全方位画像を撮影することができる。例えば、非特許文献１に示すオンライン地図検索サービスでは、ユーザがマップ上のある地点をクリックすると、その地点で撮影されたパノラマ画像を閲覧可能とするサービスを提供している。しかし、上述の非特許文献１に記載されるサービスでは、表示される画像は静止画像であり、動画を出力するものではない。

それに対し、例えば特許文献１では、予め撮影した空間内において事前に設計したルート上を移動する視点から任意の視線方向に見える動画（動画像）を出力する動画出力装置が開示されている。この特許文献１に示す動画出力装置は出力する動画を装置内の記憶装置に保持するスタンドアロン型である。スタンドアロン型では動画データを伝送路に転送する際の負荷を考慮する必要がない。

また、特許文献２には、ネットワーク上に蓄積されたデータを予め定められた順、或いはユーザによって指定された順に取得してローカルの記憶装置に蓄積しておき、取得済みのデータに対応する経路の範囲で自由なウォークスルーを提供するシステムが開示されている。

特開２０１４−２２２４４６号公報 特開２００４−０７０６０９号公報

"Google Street View"、［online］、Google,Inc、［平成２８年２月１７日検索］、インターネット<http://www.google.co.jp/intl/ja/maps/streetview/>

しかしながら、特許文献２の方法では、ユーザが結果的に必要としない動画データもダウンロードするため過剰なデータ転送を行うこととなり、多くの帯域を要してしまうという問題があった。また、ユーザが瞬間的に異なる動画の任意のフレームにアクセスしようとすると、該当する動画のダウンロードが必要となるためスムーズな動画再生を実現することができない。

本発明は、このような課題に鑑みてなされたもので、実空間上の経路に対応した動画をネットワークを介して配信することが可能な動画配信サーバ、動画出力装置、動画配信システム、及び動画配信方法を提供することを目的とする。

前述した課題を解決するため第１の発明は、ネットワークを介して動画出力装置と通信接続された動画配信サーバであって、実空間上の経路に対応した動画を記憶する記憶手段と、前記動画出力装置において指定された前記経路上の視点位置及び進行方向の情報を含むユーザステータス情報を取得するユーザステータス情報取得手段と、前記ユーザステータス情報に基づいて特定される動画を前記記憶装置から読み出して前記動画出力装置へ送信する送信手段と、を備えることを特徴とする動画配信サーバである。

第１の発明によれば、ネットワークを介して動画出力装置と通信接続された動画配信サーバは、実空間上の経路に対応した動画を記憶装置に記憶し、動画出力装置において指定された経路上の視点位置及び進行方向の情報を含むユーザステータス情報を取得すると、ユーザステータス情報に基づき特定される動画を記憶装置から読み出し、動画出力装置へ送信する。これにより、動画配信サーバはネットワークを介して通信接続された動画出力装置に対し、実空間における視点の周囲の動画像で配信できる。スタンドアロン型で稼働する場合と比較して、動画出力装置側で動画データや空間データを予めインストールする作業が不要である。また一般的なＷｅｂブラウザで稼働させることが可能である。これにより、ネットワークを介してアクセス可能な複数の動画出力装置に動画を配信可能となり、実空間のウォークスルー体験を多数のユーザが共有できるようになる。

第１の発明において、前記動画に設定された複数のキーフレームの画像データを予め前記動画出力装置に転送する転送手段を備え、前記送信手段は、前記ユーザステータス情報に基づいて特定される前記視点位置の直前のキーフレーム以降の差分動画を前記動画出力装置へ送信することが望ましい。これにより、経路の途中の位置にユーザの視点位置を配置した際に、既に通り過ぎた位置の動画データのダウンロードを省略でき、データ転送量を削減することが可能となる。またユーザの視点位置以降の動画を差分動画（フレーム間差分データ）としてストリーミングに適した形で配信するため、再生に要する時間を短縮できる。

第１の発明における経路は、ノードと有向なブランチとから構成され、前記動画は前記ブランチの向き毎に記憶されることが望ましい。ユーザはブランチを移動する動画を双方向ともに閲覧できる。

また第１の発明における動画は、時系列に連続した複数フレームの全方位画像からなるため、ユーザは視点の周囲の全方位の動画を閲覧できる。

第２の発明は、ネットワークを介して動画配信サーバと通信接続された動画出力装置であって、実空間上の経路の情報を記憶する記憶手段と、前記実空間における視点位置及び進行方向の情報を含むユーザステータス情報を前記動画配信サーバに送信するユーザステータス情報送信手段と、前記ユーザステータス情報に基づき特定される動画を前記動画配信サーバから受信する受信手段と、受信した動画を出力する出力手段と、を備えることを特徴とする動画出力装置である。

第２の発明によれば、ネットワークを介して動画配信サーバと通信接続された動画出力装置は、実空間上に配置された経路の情報を記憶装置に記憶し、実空間における視点位置及び進行方向の情報を含むユーザステータス情報を前記動画配信サーバに送信し、ユーザステータス情報に基づき特定される動画を動画配信サーバから受信して出力する。これにより、動画出力装置は動画配信サーバから、実空間における視点の周囲の動画をネットワークを介して取得し、出力できる。スタンドアロン型で稼働する場合と比較して、動画出力装置は動画データや空間データを予めインストールする作業が不要である。また一般的なＷｅｂブラウザで稼働することが可能であるので、実空間のウォークスルー体験を複数の動画出力装置で共有できるようになる。

第２の発明において、前記動画に設定された複数のキーフレームの画像データを予め取得し、記憶するキーフレーム画像データ記憶手段を更に備え、前記受信手段は、前記ユーザステータス情報から特定される前記視点位置の直前のキーフレーム以降の差分動画を前記動画配信サーバから受信し、前記出力手段は、前記キーフレーム画像データ記憶手段に記憶されたキーフレームの画像データと前記動画配信サーバから受信した差分動画とから出力動画を生成し、出力することが望ましい。これにより、経路の途中の位置にユーザの視点位置を配置した際に、既に通り過ぎた位置の動画データのダウンロードを省略でき、データ転送量を削減することが可能となる。またユーザの視点位置以降の動画を差分動画（フレーム間差分データ）としてストリーミングに適した形で配信するため、再生に要する時間を短縮できる。

第２の発明において、前記視点位置及び視線方向を指定するためのインターフェースを有し、前記ユーザステータス情報送信手段は、前記インターフェースを介して指定された視点位置及び視線方向に対応する視点位置及び進行方向を求め、前記ユーザステータス情報として送信することが望ましい。これによりユーザは視点位置や視線方向を容易に指定でき、また指定された視線方向に対応する進行方向を求めて、ユーザステータス情報として送信することが可能となる。

また第２の発明における経路は、ノードと有向なブランチとから構成され、前記動画は前記ブランチの向き毎に記憶されることが望ましい。ユーザはブランチ上を移動する動画を双方向に閲覧できる。また第２の発明における動画は、時系列に連続した複数フレームの全方位画像からなるため、ユーザは視点の周囲の全方位の動画を閲覧できる。

また第２の発明において、前記出力手段は、前記全方位画像から所定の視野範囲を切り出して出力するため、ユーザの視野に応じた範囲の動画を全方位画像から切り出して出力できる。

第３の発明は、ネットワークを介して動画出力装置と動画配信サーバとが通信接続された動画配信システムであって、前記動画配信サーバは、実空間上の経路に対応した動画を記憶する動画記憶手段と、前記動画出力装置において指定された前記経路上の視点位置及び進行方向の情報を含むユーザステータス情報を取得するユーザステータス情報取得手段と、前記ユーザステータス情報に基づいて特定される動画を前記動画記憶手段から読み出し、前記動画出力装置へ送信する動画送信手段と、を備え、前記動画出力装置は、前記実空間上の経路の情報を記憶する空間情報記憶手段と、前記ユーザステータス情報を前記動画配信サーバに送信するユーザステータス情報送信手段と、前記ユーザステータス情報に基づき特定される動画を前記動画配信サーバから受信する動画受信手段と、受信した動画を出力する出力手段と、を備えることを特徴とする動画配信システムである。

第３の発明によれば、ネットワークを介して動画出力装置と通信接続された動画配信サーバは、実空間上の経路に対応した動画を記憶装置に記憶し、動画出力装置において指定された経路上の視点位置及び視点方向の情報を含むユーザステータス情報を取得すると、ユーザステータス情報に基づき特定される動画を記憶装置から読み出し、動画出力装置へ送信する。動画出力装置はユーザの視点の移動に応じた動画を動画配信サーバから取得し、出力する。スタンドアロン型で稼働する場合と比較して、動画出力装置側で動画データや空間データを予めインストールする作業が不要である。また一般的なＷｅｂブラウザで稼働させることが可能である。これにより、実空間のウォークスルー体験を複数の動画出力装置で共有できるようになる。

第３の発明において、前記動画配信サーバは、前記動画に設定された複数のキーフレームの画像データを予め前記動画出力装置に転送する転送手段を更に備え、前記動画送信手段は、前記ユーザステータス情報から特定される前記視点位置の直前のキーフレーム以降の差分動画を前記動画出力装置へ送信し、前記動画出力装置は、前記キーフレームの画像データを受信し、記憶するキーフレーム画像データ記憶手段を更に備え、前記動画受信手段は、前記差分動画を前記動画配信サーバから受信し、前記出力手段は、前記キーフレーム画像データ記憶手段に記憶されたキーフレームの画像データと前記動画配信サーバから受信した差分動画とから出力動画を生成し、出力することが望ましい。これにより、経路の途中の位置にユーザの視点位置を配置した際に、既に通り過ぎた位置の動画データのダウンロードを省略でき、データ転送量を削減することが可能となる。またユーザの視点位置以降の動画のみをストリーミングに適した形で取得するため、再生に要する時間を短縮できる。

第４の発明は、ネットワークを介して動画出力装置と動画配信サーバとが通信接続された動画配信システムにおける動画配信方法であって、前記動画配信サーバが、実空間上の経路に対応した動画を記憶装置に記憶するステップと、前記動画出力装置が、前記実空間上に配置された経路の情報を記憶するステップと、前記動画出力装置が、前記実空間における視点位置及び進行方向の情報を含むユーザステータス情報を前記動画配信サーバに送信するステップと、前記動画配信サーバが、前記ユーザステータス情報を受信するステップと、前記動画配信サーバが、前記ユーザステータス情報に基づき特定される動画を前記記憶装置から読み出し、前記動画出力装置へ送信するステップと、前記動画出力装置が、前記ユーザステータス情報に基づき特定される動画を前記動画配信サーバから受信するステップと、前記動画出力装置が、受信した動画を出力するステップと、を含むことを特徴とする動画配信方法である。

第４の発明によれば、ネットワークを介して動画出力装置と通信接続された動画配信サーバは、実空間上の経路に対応した動画を記憶装置に記憶し、動画出力装置において指定された経路上の視点位置及び進行方向の情報を含むユーザステータス情報を取得すると、ユーザステータス情報に基づき特定される動画を記憶装置から読み出し、動画出力装置へ送信する。動画出力装置はユーザの視点の移動に応じた動画を動画配信サーバから取得し、出力する。スタンドアロン型で稼働する場合と比較して、動画出力装置側で動画データや空間データを予めインストールする作業が不要である。また一般的なＷｅｂブラウザで稼働させることが可能である。これにより、実空間のウォークスルー体験を複数の動画出力装置で共有できるようになる。

第４の発明において、前記動画配信サーバは、前記動画に設定された複数のキーフレームの画像データを予め前記動画出力装置に転送し、前記ユーザステータス情報から特定される前記視点位置の直前のキーフレーム以降の差分動画を前記動画出力装置へ送信し、前記動画出力装置は、予め前記キーフレームの画像データを受信して記憶し、前記差分動画を前記動画配信サーバから受信し、記憶されたキーフレームの画像データと受信した差分動画とから出力動画を生成し、出力することが望ましい。これにより、経路の途中の位置にユーザの視点位置を配置した際に、既に通り過ぎた動画データのダウンロードを省略でき、データ転送量を削減することが可能となる。またユーザの視点位置以降の動画のみをストリーミングに適した形で取得するため、再生に要する時間を短縮できる。

本発明により、実空間上の経路に対応した動画をネットワークを介して配信することが可能な動画配信サーバ、動画出力装置、動画配信システム、及び動画配信方法を提供できる。

動画配信システム１のシステム構成図 動画出力装置２のハードウエア構成図 動画配信サーバ３のハードウエア構成図 空間５０に設定される経路の構成例 ユーザ情報３２１のデータ構成を示す図 空間情報３２２のデータ構成を示す図 （ａ）ノード詳細情報５５、（ｂ）ブランチ詳細情報５６のデータ構成を示す図 ある経路をＸＹ二次元座標上に表した例を示す図 動画情報３２３のデータ構成を示す図 動画データＡ１１、Ａ１２、…Ａｎ２に設定されたキーフレームｋｆ１、ｋｆ２、…の例を示す図 ユーザステータス情報３２４のデータ構成を示す図 各種パラメータ情報２２５のデータ例を示す図 事前処理の流れを説明するフローチャート 動画配信処理の流れを説明するフローチャート 本発明のユーザインターフェースであるユーザ入力画面６１の一例を示す図 ユーザ位置８０の直前のキーフレーム位置の算出、及び差分動画について説明する図 視線方向８１に対応する視野範囲８２を示す図 視点位置に対応する全方位画像９０から切り出された視野画像９１について説明する図 視点位置の移動に伴う画面遷移の一例を示す図

以下、図面を参照して本発明の好適な実施形態について詳細に説明する。

図１は、Ｗｅｂを利用した動画配信システム１のシステム構成を示す図である。動画配信システム１において、動画出力装置２はネットワーク４を介して動画配信サーバ３と通信接続される。ネットワーク４は、ＬＡＮ（Local Area Network）や、より広域に通信接続されたＷＡＮ（Wide Area Network）、またはインターネット等の公衆の通信回線、基地局等を含む。ネットワーク４における通信接続は有線、無線を問わない。動画出力装置２と動画配信サーバ３とは、ネットワーク４を介して互いにデータを送受信する。図１にはネットワーク４に１つの動画出力装置２が接続されている例を示しているが、ネットワーク４に接続される動画出力装置２は複数としてもよい。

動画出力装置２は、Ｗｅｂブラウザを搭載し、また本発明に係る動画配信処理を実行するためのアプリケーションプログラム（以下、動画出力アプリ２０という）をインストール可能なコンピュータ等の装置であり、例えば、ＰＣ、スマートフォン、タブレット、ゲーム機、その他の各種の情報端末を含む。ヘッドマウントディスプレイを本発明に係る動画出力装置２として使用してもよい。

動画配信サーバ３は、ネットワーク４を介して通信接続された１または複数の動画出力装置２からの要求に応じて動画配信サーバ３に蓄積された動画を配信する。配信する動画は、実空間で予め撮影された動画であり、時系列に連続した複数フレームの全方位画像からなるものである。そして、本発明において配信する動画には複数のキーフレームが設定されている。キーフレームは任意の間隔で設定されてもよいが、好ましくはシーンが切り替わるフレーム等、動画の内容に基づいて設定されることが望ましい。

図２は、動画出力装置２を実現するコンピュータのハードウエア構成図である。図２に示すように、動画出力装置２は、例えば、制御部２１、記憶部２２、メディア入出力部２３、周辺機器Ｉ／Ｆ部２４、入力部２５、表示部２６、通信制御部２７等がバス２９を介して接続されて構成される。

制御部２１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等により構成される。ＣＰＵは、記憶部２２、ＲＯＭ、記録媒体等に格納されるプログラムをＲＡＭ上のワークメモリ領域に呼び出して実行し、バス２９を介して接続された各部を駆動制御し、動画出力装置２が行う後述する処理を実現する。

ＲＯＭは、不揮発性メモリであり、コンピュータのブートプログラムやＢＩＯＳ等のプログラム、データ等を恒久的に保持する。ＲＡＭは、揮発性メモリであり、ロードしたプログラムやデータを一時的に保持するとともに、制御部２１が各処理を行うために使用するワークエリアを備える。

記憶部２２は、ＨＤＤ（Hard Disk Drive）等であり、制御部２１が実行するプログラムや、プログラム実行に必要なデータ、ＯＳ（Operating System）等を格納する。これらのプログラムコードは、制御部２１により必要に応じて読み出されてＲＡＭに移され、ＣＰＵに読み出されて実行される。

動画出力装置２の記憶部２２には、図１に示すように、ユーザＩＤ２２１、空間情報２２２、キーフレーム画像データ２２３、各種パラメータ２２５等が記憶される。空間情報２２２及びキーフレーム画像データ２２３は、動画出力装置２が動画配信サーバ３に対して空間の動画データの配信を要求した際等に、動画配信サーバ３からダウンロードして保持するものである。ユーザＩＤ２２１や各種パラメータ２２５は、動画出力アプリ２０がインストールされユーザ登録処理やパラメータ設定処理が行われたとき等に記憶される。

ユーザＩＤ２２１は、動画出力装置２のユーザの識別情報である。ユーザＩＤ２２１は動画配信サーバ３にも通知され、ユーザ情報３２１として登録される。

空間情報２２２及びキーフレーム画像データ２２３は、上述したように動画配信サーバ３からダウンロードしたデータである。動画出力装置２が動画配信サーバ３に対して空間を指定して動画配信を要求すると、該当する空間の空間情報２２２及びキーフレーム画像データ２２３が動画配信サーバ３から送信される。空間は、実空間に対応するものである。空間情報２２２は、空間に定義された経路に関する情報である（図４、図６〜図８）。キーフレーム画像データは、動画に設定されたキーフレームの画像データである。キーフレーム及びキーフレーム画像データについては後述する（図９、図１０）。

メディア入出力部２３は、例えば、ＣＤドライブ、ＤＶＤドライブ、フロッピー（登録商標）ディスクドライブ等のメディア入出力装置であり、動画像等のデータの入出力を行う。
周辺機器Ｉ／Ｆ（インターフェース）部２４は、周辺機器を接続するためのポートであり、周辺機器Ｉ／Ｆ部２４を介してコンピュータは周辺機器とのデータの送受信を行う。周辺機器との接続形態は有線、無線を問わない。

入力部２５は、例えば、キーボード、マウス、タッチパネル等の入力装置であり、入力されたデータを制御部２１へ出力する。
表示部２６は、例えば、ＣＲＴモニタや液晶パネル等のディスプレイ装置と、ディスプレイ装置と連携して表示処理を実行するための論理回路（ビデオアダプタ等）で構成され、制御部２１の制御により入力された表示情報をディスプレイ装置上に表示させる。なお、入力部２５と表示部１６は、それらの機能が一体化した例えばタッチパネル付きディスプレイであってもよい。また、ヘッドマウントディスプレイ等のようにユーザが装用可能なものでもよい。

通信制御部２７は、通信制御装置、通信ポート等を有し、コンピュータとネットワーク４との通信を媒介するインターフェースである。通信制御部２７は、ネットワーク４を介して他の装置との通信制御を行う。
バス２９は、制御信号、データ信号等の授受を媒介する経路である。

図３は、動画配信サーバ３を実現するコンピュータのハードウエア構成図である。図３に示すように動画配信サーバ３は、例えば、制御部３１、記憶部３２、メディア入出力部３３、周辺機器Ｉ／Ｆ部３４、入力部３５、表示部３６、通信制御部３７等がバス３９を介して接続されて構成される。

制御部３１は、ＣＰＵ、ＲＯＭ、ＲＡＭ等により構成される。ＣＰＵは、記憶部３２、ＲＯＭ、記録媒体等に格納されるプログラムをＲＡＭ上のワークメモリ領域に呼び出して実行し、バス３９を介して接続された各部を駆動制御し、動画配信サーバ３が行う後述する処理を実現する。

ＲＯＭは、不揮発性メモリであり、コンピュータのブートプログラムやＢＩＯＳ等のプログラム、データ等を恒久的に保持する。ＲＡＭは、揮発性メモリであり、ロードしたプログラムやデータを一時的に保持するとともに、制御部３１が各処理を行うために使用するワークエリアを備える。

記憶部３２は、ＨＤＤ等であり、制御部３１が実行するプログラムや、プログラム実行に必要なデータ、ＯＳ等が格納されている。これらのプログラムコードは、制御部３１により必要に応じて読み出されてＲＡＭに移され、ＣＰＵに読み出されて実行される。

動画配信サーバ３の記憶部３２には、ユーザ情報３２１、空間情報３２２、動画情報３２３、ユーザステータス情報３２４等が記憶される。各データの内容については後述する。

メディア入出力部３３は、例えば、ＣＤドライブ、ＤＶＤドライブ、フロッピー（登録商標）ディスクドライブ等のメディア入出力装置であり、動画像等のデータの入出力を行う。
周辺機器Ｉ／Ｆ（インタフェース）部３４は、コンピュータに周辺機器を接続させるためのポートであり、周辺機器Ｉ／Ｆ部３４を介してコンピュータは周辺機器とのデータの送受信を行う。周辺機器との接続形態は有線、無線を問わない。

入力部３５は、例えば、キーボード、マウス、タッチパネル等の入力装置であり、入力されたデータを制御部２１へ出力する。
表示部３６は、例えば、ＣＲＴモニタや液晶パネル等のディスプレイ装置と、ディスプレイ装置と連携して表示処理を実行するための論理回路（ビデオアダプタ等）で構成され、制御部３１の制御により入力された表示情報をディスプレイ装置上に表示させる。なお、入力部３５と表示部３６は、それらの機能が一体化した例えばタッチパネル付きディスプレイであってもよい。

通信制御部３７は、通信制御装置、通信ポート等を有し、コンピュータとネットワーク４との通信を媒介するインターフェースである。通信制御部３７は、ネットワーク４を介して他の装置との通信制御を行う。
バス３９は、制御信号、データ信号等の授受を媒介する経路である。

次に、図４を参照して本発明に係る動画配信システム１における空間５０について説明する。
本発明に係る動画出力装置２は、実空間に対応する任意の経路上を所定の速度で移動する視点位置から見た任意の視線方向に対応する動画を表示する。図４は、ある施設内（空間５０）に設定される経路（ノード５１及びブランチ５２）の平面図である。視点位置が移動する空間５０は、例えば、会社のフロアや美術館等の施設等である。経路上の動画を撮影できる空間であればよく、屋外であってもよい。

図４に示すように、空間５０内の経路は、ノード５１及びブランチ５２によって構成される。ノード５１とは経路の継ぎ目であり、ブランチ５２とは起点となるノード５１（以下、起点ノード５１ａと表記）と終点となるノード５１（以下、終点ノード５１ｂと表記）とを接続する単位経路である。図３に示す例では、７個のノードＮ１〜Ｎ７と、６本のブランチＢ１〜Ｂ６とが定義されている。

図４に示すように、各ブランチ５２は直線で表現され、各ブランチ５２の矢印の向きは視点の進行方向を示す。矢印の起点が起点ノード５１ａであり、矢印の終点が終点ノード５１ｂである。すなわち、起点ノード５１ａと終点ノード５１ｂが特定されると、当該ブランチ５２が特定されることとなる。ブランチ５２の向きは、経路に沿って撮影された動画における視点の進行方向に一致する。本発明では、各ブランチ５２は双方向の進行方向を有し、各方向についてそれぞれ対応する動画が撮影される。

経路上のどの位置にノード５１を定義するかは、当該動画配信システム１の設計者の判断に委ねられるが、一般的には、経路上の端点（行き止まり）、曲がり角、経路の分岐点等にノード５１が配置される。図４に示す例では、Ｎ３、Ｎ４、Ｎ５、Ｎ７は経路上の端点を示すノード５１であり、Ｎ６は経路上の曲がり角を示すノード５１であり、Ｎ１、Ｎ２は経路上の分岐点を示すノード５１である。

次に、図５〜図１２を参照して、本発明に係る動画配信システム１におけるデータ構成について説明する。上述したように（図１）、動画配信サーバ３は、ユーザ情報３２１、空間情報３２２、動画情報３２３、ユーザステータス情報３２４を記憶部３２に記憶している。また動画出力装置２の記憶部２２には、ユーザＩＤ２２１、空間情報２２２、キーフレーム画像データ２２３、各種パラメータ２２５が記憶される。

動画配信サーバ３に記憶されるユーザ情報３２１の一例を図５に示す。
動画配信サーバ３は、ユーザ情報３２１として動画配信システム１が提供する動画配信サービスを利用するユーザの識別情報であるユーザＩＤとユーザに関する情報を紐づけて記憶している。ユーザに関する情報は、例えばユーザ名、ユーザが動画出力装置２として使用する端末の種別等である。ユーザ情報３２１は、各動画出力装置２において入力され、動画配信サーバ３に送信され、サーバ３の記憶部３２に登録される。

空間情報３２２は、動画配信サーバ３が配信する動画が撮影された空間に定義された経路の情報である。動画配信サーバ３が配信する空間が複数ある場合は、複数の空間についてそれぞれ空間情報３２２が記憶部３２に格納される。

空間情報３２２には、空間に定義された経路のノード情報３２２ａとブランチ情報３２２ｂとが格納される。図６は、図４に示す平面図で構成される空間５０の空間情報３２２である。ノード情報３２２ａとして「Ｎ１、Ｎ２、Ｎ３、Ｎ４、Ｎ５、Ｎ６、Ｎ７」、ブランチ情報３２２ｂとして「Ｂ１、Ｂ２、Ｂ３、Ｂ４、Ｂ５、Ｂ６」が格納される。

また空間情報３２２として、ノード詳細情報５５及びブランチ詳細情報５６が格納される。図７（ａ）はノード詳細情報５５、図７（ｂ）はブランチ詳細情報５６のデータ構成を示している。

図７（ａ）に示すように、ノード詳細情報５５には「ノードＩＤ」、「位置情報Ｘ」、「位置情報Ｙ」、「属性」が格納される。「位置情報Ｘ」及び「位置情報Ｙ」とは、ノード５１のＸＹ座標空間上での位置情報であり、それぞれＸ座標値とＹ座標値が格納される。ノード５１間の距離は座標を距離単位に変換することで、実寸値で算出できる。「属性」とは、ノード５１の経路上の特徴を表す次数であり、各ノード５１から派生するブランチの本数を示す値である。例えば、ノード５１が経路上の端点（行き止まり）にあれば「１」を格納し、ノード５１が経路上の曲がり角にあれば「２」を格納し、ノード５１が経路上の三叉路にあれば「３」を格納し、ノード５１が経路上の十字路にあれば「４」を格納する。

図８は、経路をＸＹ２次元座標上に表わした例を示す図である。各ノードＮ１〜Ｎ４の符号に括弧書きで示した座標は、各ノードＮ１〜Ｎ４のＸ座標値とＹ座標値である。図８に示すように、ブランチＢ１の向きはＸ軸の向きに一致し、Ｘ軸に対してブランチＢ２がなす角度は反時計回りに６０°であり、Ｘ軸に対してブランチＢ３がなす角度は時計回りに６０°である。ここで、本実施形態におけるブランチ角度とは、図示されるＸＹ座標系のＸ軸とブランチ５２の向きとがなす角度であり、反時計回りを正方向とする。ブランチ角度は、ブランチ５２の始点ノード５１ａの位置座標と終点ノード２２ｂの位置座標とにより算出できる。図８に示す例では、ブランチＢ１のブランチ角度は０°であり、ブランチＢ２のブランチ角度は６０°であり、ブランチＢ３のブランチ角度は３００°（−６０°）である。

図７（ｂ）に示すように、ブランチ詳細情報５６には「ブランチＩＤ」、「動画ＩＤ（正方向）」、「動画ＩＤ（逆方向）」、「端点ノード」、「キーフレーム」が格納される。「端点ノード」には、ブランチの端点のノードＩＤが格納される。本発明の動画配信システム１では、各ブランチについてそれぞれ正方向と逆方向の動画データが用意されるものとする。例えば、Ｘ座標の小さい方の端点を起点、Ｘ座標の大きい方の端点を終点として起点から終点への方向を「正方向」と呼び、終点から起点への方向を「逆方向」と呼ぶ。正方向と逆方向の定義はこれに限定されず、Ｙ座標の大きさで起点・終点を決定してもよいし、ブランチ５２毎に正方向をどの方向するかを決定してもよい。「動画ＩＤ（正方向）」には、ブランチ５２を正方向に撮影した動画の動画ＩＤが格納される。「動画ＩＤ（逆方向）」には、ブランチ５２を逆方向に撮影した動画の動画ＩＤが格納される。

図９に示す動画情報３２３は、各ブランチ５２に沿って視点位置を進行方向（正方向または逆方向）に移動しながら空間５０を撮影した全方位画像（動画像）に関する情報であり、「動画ＩＤ」、「画像データ」、「フレーム数」、「キーフレーム」の情報が格納される。

「動画データ」には、時系列に連続した全方位画像の集合である全方位動画シーケンスが格納される。全方位動画シーケンスとは、全方位画像を１フレームとした、連続した複数フレームからなる画像データ群である。全方位動画はブランチ５２に沿って一定速度で全方位カメラを移動させながら撮影された実写画像の他、コンピュータグラフィクス等により作成された画像等も含む。一定速度で移動しながら撮影されるため、ブランチ５２上の各地点と全方位動画シーケンスの各フレーム位置とが対応づけられることとなる。

全フレームについてそれぞれ全方位画像の全データが格納されるのではなく、本発明では、キーフレームについては全方位画像の全データが格納され、キーフレーム以外のフレームについてはフレーム間差分データが格納されるものとする。フレーム間差分データとは、直前のフレームとの差分情報である。差分情報のみを格納することでデータ量を削減できる。

動画情報３２３の「フレーム数」には全方位画像シーケンスを構成するフレーム数の値が格納される。「キーフレーム」には、キーフレームとするフレームのフレーム番号が格納される。

ここで、動画データについて図１０を参照して説明する。
図１０に示すように、空間５０の経路を構成するブランチ５２には各進行方向の動画データが対応付けられる。進行方向は、正方向及び逆方向である。図１０の例では、ブランチＢ１には正方向の動画データＡ１１と逆方向の動画データＡ１２とが対応付けられている。

また、各動画データＡ１１、Ａ１２、…には、それぞれキーフレームｋｆ１、ｋｆ２、…が設定される。キーフレームｋｆ１、ｋｆ２、…は任意の間隔で設定されてもよいが、より好ましくはシーンの切り替え点等、前後のフレームの画像の内容に基づいて設定されることが望ましい。前後のフレームで差分が大きい動画、すなわち動きが大きい動画ではキーフレームが多く設定され、フレーム間の差分が小さい動画、すなわち動きが小さい動画ではより少ない数のキーフレームが設定されることとなる。図１０の例では、ブランチＢ１の正方向に対応づけられた動画データＡ１１は、ｋｆ１，ｋｆ２，…ｋｆｉのｉ個のキーフレームが設定されている。またブランチＢ１の逆方向に対応づけられた動画データＡ１２は、ｋｆ１，ｋｆ２，…ｋｆｊのｊ個のキーフレームが設定されている。ブランチＢｎの逆方向に対応づけられた動画データＡｎ２は、ｋｆ１，ｋｆ２，…ｋｆｍのｍ個のキーフレームが設定されている。

各動画Ａ１１〜Ａｎ２は、それぞれブランチ５２上を等速度で移動しながら撮影される。また、各動画Ａ１１〜Ａｎ２の各フレームは対応するブランチ５２上の位置と対応づけられる。したがってブランチ５２上の視点位置から対応する動画のフレーム位置が特定される。

図１１は、動画配信サーバ３に順次記憶されるユーザステータス情報３２４の例である。
ユーザステータス情報３２４は、動画配信サーバ３と通信接続中の動画出力装置２から通知される空間５０におけるユーザの視点位置及び進行方向を順次格納するものである。ユーザＩＤ、空間５０内の視点位置及び進行方向を含むユーザステータス情報３２４が動画出力装置２から送信されると、動画配信サーバ３は受信したユーザステータス情報３２４を記憶部３２に順次記憶する。なお、ユーザステータス情報３２４を受信するタイミングは、例えば、動画出力装置２でユーザの視点位置や進行方向が指定されたときや変更されたとき、或いは所定の時間間隔等とする。

図１１の例では、「２０１６年１月３０日１０時０５分３０秒」にユーザＩＤ「０１」の動画出力装置２から視点位置「Ｂ１（３０）」、進行方向「正方向」が通知され、「２０１６年１月３０日１０時０６分４０秒」にユーザＩＤ「０１」の動画出力装置２から視点位置「Ｂ１（３５）」、進行方向「正方向」が通知され、「２０１６年１月３０日１０時０６分５０秒」にユーザＩＤ「０３」の動画出力装置２から視点位置「Ｂ６（２）」、進行方向「正方向」が通知され、「２０１６年１月３０日１０時０７分００秒」にユーザＩＤ「０３」の動画出力装置２から視点位置「Ｂ６（１７）」、進行方向「正方向」が通知され、「２０１６年１月３０日１０時０８分１０秒」にユーザＩＤ「０３」の動画出力装置２から視点位置「Ｂ５（１）」、進行方向「正方向」が通知されている。視点位置の「Ｂ１（３０）」や「Ｂ６（２）」等は、ブランチＩＤとブランチにおけるフレーム位置を示している。「Ｂ１（３０）」は、ブランチＢ１上のフレーム番号「３０」に視点位置があることを意味し、「Ｂ６（２）」は、ブランチＢ６上のフレーム番号「２」に視点位置があることを意味する。なお、視点位置は、空間に設定された座標で動画配信サーバ３に送信されてもよい。その場合は、動画配信サーバ３は視点位置の座標に対応する動画のフレーム位置を、空間情報３２２（ノード詳細情報５５、ブランチ詳細情報５６）や動画情報３２３の「フレーム数」に基づいて特定する。

図１２に示す各種パラメータ情報２２５は、動画出力装置２で動画を出力する際等に設定される各種のパラメータ情報が格納される。例えば、全方位画像９０からユーザの視野範囲の画像９１を切り出すために使用する「切出角度」等がパラメータとして格納される。切出角度は０°以上３６０°未満の数値で指定される。

次に、図１３〜図１８を参照して、動画配信システム１における動画配信の流れを説明する。図１３は動画配信システム１における事前処理の流れを示す図であり、図１４は動画配信処理の流れを示す図である。

図１３に示す事前処理は、例えば動画出力装置２が動画出力アプリ２０を起動して動画配信サーバ３に通信接続し、動画出力装置２により配信する動画空間が指定されたとき等に実行される。

動画配信サーバ３は、動画出力装置２から要求された空間５０についての空間情報２２２、及び空間５０の各ブランチ５２に対応づけられた動画のキーフレーム画像データ２２３を記憶部３２の空間情報３２２及び動画情報３２３から読み出し、要求元の動画出力装置２に送信する（ステップＳ１０１）。

動画出力装置２は、動画配信サーバ３から転送された空間情報２２２及び空間の各ブランチ５２に対応づけられた動画のキーフレーム画像データ２２３を受信し（ステップＳ１０２）、記憶部２２に記憶する（ステップＳ１０３）。

動画出力装置２のユーザＩＤ２２１等のユーザ情報は動画配信サーバ３に登録されているものとする。また動画出力装置２では、動画出力に関する各種パラメータ情報２２５（図１２の切出角度等）が予め、またはユーザによる入力値により設定されているものとする。

図１４に示す動画配信処理は、動画出力装置２が動画配信サーバ３に通信接続され、事前処理によって空間情報２２２及びキーフレーム画像データ２２３が動画出力装置２に転送された後、開始される。

動画出力装置２は、まず動画出力アプリ２０のユーザインターフェースを表示部２６に表示する（ステップＳ２０１）。ユーザインターフェースの一例を図１５に示す。

図１５は、動画出力アプリ２０のユーザインターフェースであるユーザ入力画面６１の表示例である。図１５に示すように、ユーザ入力画面６１には、視野画像領域６２と、経路表示領域６３と、入力受付領域７４とが設けられる。

視野画像領域６２には、動画配信サーバ３から配信される動画のうち、視点位置及び視線方向に対応する視野画像９１の動画が表示される。経路表示領域６３には、空間情報２２２により定義される空間５０の間取り図と、視点位置を示すマーク８０及び視線方向を示すマーク８２が表示される。視点位置及び視線方向は、マウス（入力部２５）等を用いてマーク８０、マーク８２を所望の位置及び方向に移動させるか、或いは入力受付領域７４に設けられる操作ボタン７５ａ、７５ｂ、７５ｃ、７６ａ〜７６ｄの操作により指定できる。

入力受付領域７４には、視点位置や視線方向を指定・変更させる際に操作される操作ボタン７５ａ、７５ｂ、７５ｃ、７６ａ〜７６ｄが配置される。前進ボタン７５ａ及び７５ｂは、ユーザが視点位置を変更する際に操作される。前進ボタン７５ａ及び後進ボタン７５ｂの操作に伴い、間取り図６３上に表示された視点位置を示すマーク８０の位置が視線方向に対して前進する方向または後進する方向に変更される。停止ボタン７５ｃは動画再生を停止（視点位置を固定）する際に操作される。前進ボタン７５ａ及び後進ボタン７５ｂが押下されている間、視点位置が経路上の指定された方向（前進／後進）に所定速度で移動する。或いは、動画の表示中は視点位置が所定速度で所定の方向に移動されるものとし、前進ボタン７５ａ及び後進ボタン７５ｂは視点位置の移動速度の加速または減速に用いるようにしてもよい。

上向きボタン７６ａ、右向きボタン７６ｂ、下向きボタン７６ｃ、左向きボタン７６ｄは、視線方向を変更するための操作ボタンである。制御部２１は、上向きボタン７６ａが押下されている間、制御部２１は視線方向を所定の速度で上向きに移動させる。これにより切り出される動画が上向きに移動される。同様に、右向きボタン７６ｂが押下された場合は、制御部２１は視線方向を右向きに移動し、これにより切り出される動画が右向きに変更される。下向きボタン７６ｃが押下された場合は、制御部２１は視線方向を下向きに移動させ、これにより切り出される動画が下向きに変更される。左向きボタン７６ｄが押下された場合は、制御部２１は視線方向を左向きに移動させ、これにより切り出される動画が左向きに変更される。

図１４の説明に戻る。
ユーザ入力画面６１においてユーザにより視点位置及び視線方向が入力されると（ステップＳ２０２）、動画出力装置２は空間情報２２２に基づいて視点位置に対応するブランチを求め、また視線方向に基づいて進行方向（正方向または逆方向）を求める。そして求めた視点位置及び進行方向をユーザステータス情報３２４としてユーザＩＤ２２１とともに動画配信サーバ３に送信する（ステップＳ２０３）。動画配信サーバ３は、動画出力装置２から送信された視点位置及び進行方向（ユーザステータス情報３２４）を受信すると（ステップＳ２０４）。ユーザＩＤ２２１とともに記憶部３２に保存する（ステップＳ２０５）。

動画配信サーバ３は、受信したユーザステータス情報３２４（視点位置及び進行方向）に応じて転送するデータ（動画）を特定する（ステップＳ２０６）。ステップＳ２０６の処理では、動画配信サーバ３は、ユーザステータス情報３２４の視点位置及び進行方向に基づいて、ブランチ５２及びブランチ５２の進行方向に対応する動画ＩＤを図７（ｂ）に示すブランチ詳細情報５６に基づいて取得する。

更に動画配信サーバ３は、ユーザの視点位置及び視線方向に基づいて直前のキーフレームを特定する（ステップＳ２０７）。ステップＳ２０７の処理では、動画配信サーバ３は、ステップＳ２０６で特定した動画ＩＤの動画情報３２３に格納されているキーフレーム情報から、ユーザの視点位置の直前のキーフレームを特定する。動画の各フレームは上述したように空間上の位置と対応づけられているため、ユーザの視点位置から直前のキーフレームを求めることができる。

なお、ステップＳ２０７のキーフレームの特定処理は、動画出力装置２側で行ってもよい。この場合は、動画出力装置２の制御部２１はユーザステータス情報（視点位置及び進行方向）の送信に代えて、特定したキーフレーム以降の動画データの配信要求を動画配信サーバ３に送信すればよい。

更に、動画配信サーバ３は特定したキーフレーム以降の差分動画を読み出し、動画出力装置２へストリーミング配信する（ステップＳ２０８）。

ここで、キーフレームの特定及び差分動画について図１６を参照しながら説明する。差分動画とは、あるキーフレームの画像データ（キーフレーム画像データ）と、そのキーフレーム以降の各フレームのフレーム間差分データとにより構成される動画データである。例えば、起点ノードＮ１と終点ノードＮ２の間のブランチＢ１上に視点位置（マーク８０）がある場合、視点位置に対応するフレームｆｐは、ブランチＢ１全体の空間上の距離Ｌに対する起点ノードから視点位置（マーク８０）までの距離ｌの比率と動画全体のフレーム数Ｎとから求められる。視点位置（マーク８０）に対応するフレームｆｐの前にあるキーフレームｋｆ１、ｋｆ２、ｋｆ３のうち視点位置（マーク８０）に最も近いキーフレームｋｆ３が特定される。動画配信サーバ３は、特定したキーフレームｋｆ３のフレーム番号と、キーフレームｋｆ３以降の各フレームのフレーム間差分データとを差分動画として順次動画出力装置２に送信する。動画出力装置２では予めキーフレームの画像データを記憶しているため、フレーム番号「ｋｆ３」が特定されれば、特定されたキーフレーム画像データを記憶部２２から取得し、キーフレーム画像データと動画配信サーバ３からストリーミング送信される各フレームのフレーム間差分データとから順次各フレームの画像を生成できる。

動画出力装置２は、動画配信サーバ３からキーフレームのフレーム番号及びフレーム間差分データを受信すると（ステップＳ２０９）、受信したフレーム番号「ｋｆ３」のキーフレーム画像データを記憶部２２から取得し、更にキーフレーム画像データとストリーミング送信される各フレームのフレーム間差分データとから順次各フレームの画像を生成する（ステップＳ２１０）。

ユーザの視点位置は時間経過とともに移動しているためユーザの視点位置が次のキーフレームに移動したときは、動画配信サーバ３は次のキーフレームのフレーム番号を動画出力装置２へ通知し、その後のフレームのフレーム間差分データを順次送信する。

動画出力装置２は視線方向に応じて全方位画像９０をクリッピングし（切り出し）、視野画像９１の動画（視野動画）を生成する（ステップＳ２１１）。

ここで、図１７及び図１８を参照して視野動画の切り出しについて説明する。図１７は、視線方向８１に対する視野範囲８２を説明する図である。動画出力装置２は、各種パラメータ情報２２５に格納される「切出角度」をΔとすると、特定された対象フレームの全方位画像９０から角度「視線方向（水平角）−Δ／２」〜「視線方向（水平角）＋Δ／２」、「視線方向（仰俯角）−Δ／２」〜「視線方向（仰俯角）＋Δ／２」の視野範囲の画像９１を切り出す。ユーザには視点位置（マーク８０）から視線方向８１を中心に図１７に示されるような視野角の画像が提示されることになる。

図１８は、全方位画像９０から視線方向８１に対応する視野画像９１を切り出す作業を説明する図である。図１８の例は、視線方向（水平角）が９０°で切出角度Δが９０°の場合の視野画像９１を示している。

動画出力装置２は、ステップＳ２１１にて生成された視野動画を順次ユーザ入力画面６１の視野画像領域６２に表示する（ステップＳ２１２）。

ユーザ入力画面６１において、ユーザにより視点位置、視線方向の変更操作が行われると、ステップＳ２０２に戻り、指定された視点位置、視線方向に対応するブランチ及び進行方向の動画（直前のキーフレーム以降の差分動画）を動画配信サーバ３から取得して、動画出力装置２側に保持されているキーフレーム画像データと差分動画とに基づいて各フレームの全方位画像を生成し、視野動画を生成し、順次表示する処理を繰り返す。

図１９は、再生される視野動画の一例を示す図である。図１９に示すように、視野動画の各フレームは、全方位画像９０ａ、９０ｂ、９０ｃから視野範囲を切り出した視野画像９１ａ、９１ｂ、９１ｃである。全方位画像９０ａ、９０ｂ、９０ｃは動画であるため視点位置の進行に伴い全方位画像９０ａ、９０ｂ、９０ｃ内の人物等に動きがみられるという特徴がある。

ユーザ入力画面６１において、停止ボタン７５ｃが押下されると、動画出力装置２は動画の再生を停止するとともに、動画配信サーバ３に動画の配信停止を通知する。

以上説明したように、ネットワーク４を介して動画出力装置２と動画配信サーバ３とが通信接続された動画配信システム１において、動画配信サーバ３は、動画出力装置２から送信されるユーザの視点位置及び進行方向の情報を含むユーザステータス情報を受信すると、ユーザステータス情報に基づき特定される動画を記憶部３２から読み出し、動画出力装置２へ送信する。動画出力装置２はユーザステータス情報に基づき特定された動画を動画配信サーバ３から受信して、視野動画を生成し、出力する。

また、動画配信サーバ３は、動画に設定された複数のキーフレームの画像データを予め動画出力装置２に転送しておき、ユーザステータス情報から特定される視点位置の直前のキーフレーム以降の差分動画を動画出力装置２へ送信し、動画出力装置２側で保持しているキーフレームの画像データと受信した差分動画とから出力する動画を生成し、出力する。視点位置の直前のキーフレームよりも前のデータを転送しないため、動画再生時のデータ転送量を低減させることができ、かつ動画再生の処理時間を短縮することが可能となる。また、ランダムアクセスの際も同様に、動画を全てダウンロードする場合と比較してデータ転送量を削減し、再生までに要する処理時間を短縮することが可能となる。更に配信するデータを視点位置の直前のキーフレーム以降のフレーム間差分データとすれば、全方位画像を送信する場合と比較して、データ転送量を削減することができる。

以上、添付図面を参照して、本発明に係る動画配信サーバ、動画出力装置、動画配信システム、及び動画配信方法の好適な実施形態について説明したが、本発明は係る例に限定されない。当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

１……………………動画配信システム
２……………………動画出力装置
２１…………………制御部
２２…………………記憶部
２２１………………ユーザＩＤ
２２２………………空間情報
２２３………………キーフレーム画像データ
２２５………………各種パラメータ
２３…………………メディア入出力部
２４…………………周辺機器Ｉ／Ｆ部
２５…………………入力部
２６…………………表示部
２７…………………通信制御部
２９…………………バス
３……………………動画配信サーバ
３１…………………制御部
３２…………………記憶部
３２１………………ユーザ情報
３２２………………空間情報
３２２ａ……………ノード情報
３２２ｂ……………ブランチ情報
３２３………………動画情報
３２４………………ユーザステータス情報
３３…………………メディア入出力部
３４…………………周辺機器Ｉ／Ｆ部
３５…………………入力部
３６…………………表示部
３７…………………通信制御部
３９…………………バス
４……………………ネットワーク
５０…………………空間
５１…………………ノード
５２…………………ブランチ
５５…………………ノード詳細情報
５６…………………ブランチ詳細情報
６１…………………ユーザ入力画面
６２…………………視野画像領域
６３…………………経路表示領域
７５ａ………………前進ボタン
７５ｂ………………後進ボタン
７５ｃ………………停止ボタン
７６ａ………………上向きボタン
７６ｂ………………右向きボタン
７６ｃ………………下向きボタン
７６ｄ………………左向きボタン
８０…………………視点位置を示すマーク
８１…………………視線方向
８２…………………視野範囲を示すマーク
９０…………………全方位画像
９１…………………視線方向に対応する画像（視野画像）
Ｎ１〜Ｎ７…………ノード
Ｂ１〜Ｂ６…………ブランチ
ｋｆ１，ｋｆ２，・・・……キーフレーム
ｆｐ…………………視点位置に対応するフレーム

前述した課題を解決するため第１の発明は、ネットワークを介して動画出力装置と通信接続された動画配信サーバであって、実空間上の経路に対応した動画を記憶する記憶手段と、前記動画出力装置において指定された前記経路上の視点位置及び進行方向の情報を含むユーザステータス情報を取得するユーザステータス情報取得手段と、前記ユーザステータス情報に基づいて特定される動画を前記記憶手段から読み出して前記動画出力装置へ送信する送信手段と、前記動画に設定された複数のキーフレームの画像データを予め前記動画出力装置に転送する転送手段と、を備え、前記送信手段は、前記ユーザステータス情報に基づいて特定される前記視点位置の直前のキーフレーム以降の差分動画を前記動画出力装置へ送信することを特徴とする動画配信サーバである。

また、これにより、経路の途中の位置にユーザの視点位置を配置した際に、既に通り過ぎた位置の動画データのダウンロードを省略でき、データ転送量を削減することが可能となる。またユーザの視点位置以降の動画を差分動画（フレーム間差分データ）としてストリーミングに適した形で配信するため、再生に要する時間を短縮できる。

第２の発明は、ネットワークを介して動画配信サーバと通信接続された動画出力装置であって、実空間上の経路の情報を記憶する記憶手段と、前記実空間における視点位置及び進行方向の情報を含むユーザステータス情報を前記動画配信サーバに送信するユーザステータス情報送信手段と、前記ユーザステータス情報に基づき特定される動画を前記動画配信サーバから受信する受信手段と、受信した動画を出力する出力手段と、前記動画に設定された複数のキーフレームの画像データを予め取得し、記憶するキーフレーム画像データ記憶手段と、を備え、前記受信手段は、前記ユーザステータス情報から特定される前記視点位置の直前のキーフレーム以降の差分動画を前記動画配信サーバから受信し、前記出力手段は、前記キーフレーム画像データ記憶手段に記憶されたキーフレームの画像データと前記動画配信サーバから受信した差分動画とから出力動画を生成し、出力することを特徴とする動画出力装置である。

また、これにより、経路の途中の位置にユーザの視点位置を配置した際に、既に通り過ぎた位置の動画データのダウンロードを省略でき、データ転送量を削減することが可能となる。またユーザの視点位置以降の動画を差分動画（フレーム間差分データ）としてストリーミングに適した形で配信するため、再生に要する時間を短縮できる。

第３の発明は、ネットワークを介して動画出力装置と動画配信サーバとが通信接続された動画配信システムであって、前記動画配信サーバは、実空間上の経路に対応した動画を記憶する動画記憶手段と、前記動画出力装置において指定された前記経路上の視点位置及び進行方向の情報を含むユーザステータス情報を取得するユーザステータス情報取得手段と、前記ユーザステータス情報に基づいて特定される動画を前記動画記憶手段から読み出し、前記動画出力装置へ送信する動画送信手段と、前記動画に設定された複数のキーフレームの画像データを予め前記動画出力装置に転送する転送手段と、を備え、前記動画送信手段は、前記ユーザステータス情報から特定される前記視点位置の直前のキーフレーム以降の差分動画を前記動画出力装置へ送信し、前記動画出力装置は、前記実空間上の経路の情報を記憶する空間情報記憶手段と、前記ユーザステータス情報を前記動画配信サーバに送信するユーザステータス情報送信手段と、前記ユーザステータス情報に基づき特定される動画を前記動画配信サーバから受信する動画受信手段と、受信した動画を出力する出力手段と、前記キーフレームの画像データを受信し、記憶するキーフレーム画像データ記憶手段と、を備え、前記動画受信手段は、前記差分動画を前記動画配信サーバから受信し、前記出力手段は、前記キーフレーム画像データ記憶手段に記憶されたキーフレームの画像データと前記動画配信サーバから受信した差分動画とから出力動画を生成し、出力することを特徴とする動画配信システムである。

また、これにより、経路の途中の位置にユーザの視点位置を配置した際に、既に通り過ぎた位置の動画データのダウンロードを省略でき、データ転送量を削減することが可能となる。またユーザの視点位置以降の動画のみをストリーミングに適した形で取得するため、再生に要する時間を短縮できる。

第４の発明は、ネットワークを介して動画出力装置と動画配信サーバとが通信接続された動画配信システムにおける動画配信方法であって、前記動画配信サーバが、実空間上の経路に対応した動画を記憶装置に記憶するステップと、前記動画出力装置が、前記実空間上に配置された経路の情報を記憶するステップと、前記動画配信サーバが、前記動画に設定された複数のキーフレームの画像データを予め前記動画出力装置に転送するステップと、前記動画出力装置が、予め前記キーフレームの画像データを受信して記憶するステップと、前記動画出力装置が、前記実空間における視点位置及び進行方向の情報を含むユーザステータス情報を前記動画配信サーバに送信するステップと、前記動画配信サーバが、前記ユーザステータス情報を受信するステップと、前記動画配信サーバが、前記ユーザステータス情報に基づき特定される動画を前記記憶装置から読み出し、前記動画出力装置へ送信する動画送信ステップと、前記動画出力装置が、前記ユーザステータス情報に基づき特定される動画を前記動画配信サーバから受信する動画受信ステップと、前記動画出力装置が、受信した動画を出力する出力ステップと、を含み、前記動画配信サーバは、前記動画送信ステップにおいて、前記ユーザステータス情報から特定される前記視点位置の直前のキーフレーム以降の差分動画を前記動画出力装置へ送信し、前記動画出力装置は、動画受信ステップにおいて、前記差分動画を前記動画配信サーバから受信し、前記動画出力装置は、出力ステップにおいて、記憶されたキーフレームの画像データと受信した差分動画とから出力動画を生成し、出力することを特徴とする動画配信方法である。

また、これにより、経路の途中の位置にユーザの視点位置を配置した際に、既に通り過ぎた動画データのダウンロードを省略でき、データ転送量を削減することが可能となる。またユーザの視点位置以降の動画のみをストリーミングに適した形で取得するため、再生に要する時間を短縮できる。

Claims (14)

1. ネットワークを介して動画出力装置と通信接続された動画配信サーバであって、
   実空間上の経路に対応した動画を記憶する記憶手段と、
   前記動画出力装置において指定された前記経路上の視点位置及び進行方向の情報を含むユーザステータス情報を取得するユーザステータス情報取得手段と、
   前記ユーザステータス情報に基づいて特定される動画を前記記憶装置から読み出して前記動画出力装置へ送信する送信手段と、
   を備えることを特徴とする動画配信サーバ。
2. 前記動画に設定された複数のキーフレームの画像データを予め前記動画出力装置に転送する転送手段を備え、
   前記送信手段は、前記ユーザステータス情報に基づいて特定される前記視点位置の直前のキーフレーム以降の差分動画を前記動画出力装置へ送信することを特徴とする請求項１に記載の動画配信サーバ。
3. 前記経路は、ノードと有向なブランチとから構成され、
   前記動画は前記ブランチの向き毎に記憶されることを特徴とする請求項１または請求項２に記載の動画配信サーバ。
4. 前記動画は、時系列に連続した複数フレームの全方位画像からなることを特徴とする請求項１から請求項３のいずれかに記載の動画配信サーバ。
5. ネットワークを介して動画配信サーバと通信接続された動画出力装置であって、
   実空間上の経路の情報を記憶する記憶手段と、
   前記実空間における視点位置及び進行方向の情報を含むユーザステータス情報を前記動画配信サーバに送信するユーザステータス情報送信手段と、
   前記ユーザステータス情報に基づき特定される動画を前記動画配信サーバから受信する受信手段と、
   受信した動画を出力する出力手段と、
   を備えることを特徴とする動画出力装置。
6. 前記動画に設定された複数のキーフレームの画像データを予め取得し、記憶するキーフレーム画像データ記憶手段を更に備え、
   前記受信手段は、前記ユーザステータス情報から特定される前記視点位置の直前のキーフレーム以降の差分動画を前記動画配信サーバから受信し、
   前記出力手段は、前記キーフレーム画像データ記憶手段に記憶されたキーフレームの画像データと前記動画配信サーバから受信した差分動画とから出力動画を生成し、出力することを特徴とする請求項５に記載の動画出力装置。
7. 前記視点位置及び視線方向を指定するためのインターフェースを有し、
   前記ユーザステータス情報送信手段は、前記インターフェースを介して指定された視点位置及び視線方向に対応する視点位置及び進行方向を求め、前記ユーザステータス情報として送信することを特徴とする請求項５または請求項６に記載の動画出力装置。
8. 前記経路は、ノードと有向なブランチとから構成され、
   前記動画は前記ブランチの向き毎に記憶されることを特徴とする請求項５から請求項７のいずれかに記載の動画出力装置。
9. 前記動画は、時系列に連続した複数フレームの全方位画像からなることを特徴とする請求項５から請求項８のいずれかに記載の動画出力装置。
10. 前記出力手段は、前記全方位画像から所定の視野範囲を切り出して出力することを特徴とする請求項９に記載の動画出力装置。
11. ネットワークを介して動画出力装置と動画配信サーバとが通信接続された動画配信システムであって、
    前記動画配信サーバは、
    実空間上の経路に対応した動画を記憶する動画記憶手段と、
    前記動画出力装置において指定された前記経路上の視点位置及び進行方向の情報を含むユーザステータス情報を取得するユーザステータス情報取得手段と、
    前記ユーザステータス情報に基づいて特定される動画を前記動画記憶手段から読み出し、前記動画出力装置へ送信する動画送信手段と、を備え、
    前記動画出力装置は、
    前記実空間上の経路の情報を記憶する空間情報記憶手段と、
    前記ユーザステータス情報を前記動画配信サーバに送信するユーザステータス情報送信手段と、
    前記ユーザステータス情報に基づき特定される動画を前記動画配信サーバから受信する動画受信手段と、
    受信した動画を出力する出力手段と、
    を備えることを特徴とする動画配信システム。
12. 前記動画配信サーバは、前記動画に設定された複数のキーフレームの画像データを予め前記動画出力装置に転送する転送手段を更に備え、
    前記動画送信手段は、前記ユーザステータス情報から特定される前記視点位置の直前のキーフレーム以降の差分動画を前記動画出力装置へ送信し、
    前記動画出力装置は、前記キーフレームの画像データを受信し、記憶するキーフレーム画像データ記憶手段を更に備え、
    前記動画受信手段は、前記差分動画を前記動画配信サーバから受信し、
    前記出力手段は、前記キーフレーム画像データ記憶手段に記憶されたキーフレームの画像データと前記動画配信サーバから受信した差分動画とから出力動画を生成し、出力することを特徴とする請求項１１に記載の動画配信システム。
13. ネットワークを介して動画出力装置と動画配信サーバとが通信接続された動画配信システムにおける動画配信方法であって、
    前記動画配信サーバが、実空間上の経路に対応した動画を記憶装置に記憶するステップと、
    前記動画出力装置が、前記実空間上に配置された経路の情報を記憶するステップと、
    前記動画出力装置が、前記実空間における視点位置及び進行方向の情報を含むユーザステータス情報を前記動画配信サーバに送信するステップと、
    前記動画配信サーバが、前記ユーザステータス情報を受信するステップと、
    前記動画配信サーバが、前記ユーザステータス情報に基づき特定される動画を前記記憶装置から読み出し、前記動画出力装置へ送信するステップと、
    前記動画出力装置が、前記ユーザステータス情報に基づき特定される動画を前記動画配信サーバから受信するステップと、
    前記動画出力装置が、受信した動画を出力するステップと、
    を含むことを特徴とする動画配信方法。
14. 前記動画配信サーバは、前記動画に設定された複数のキーフレームの画像データを予め前記動画出力装置に転送し、前記ユーザステータス情報から特定される前記視点位置の直前のキーフレーム以降の差分動画を前記動画出力装置へ送信し、
    前記動画出力装置は、予め前記キーフレームの画像データを受信して記憶し、前記差分動画を前記動画配信サーバから受信し、記憶されたキーフレームの画像データと受信した差分動画とから出力動画を生成し、出力することを特徴とする請求項１３に記載の動画配信方法。
    

Images