JP2013255210A - 映像表示方法、映像表示装置および映像表示プログラム - Google Patents

Abstract

【課題】パノラマ映像を視聴する際に、視聴者の視聴端末上においてパノラマ映像内の所望の場面を選択して視聴した視聴状況の情報を記録することができる映像表示方法を提供する。
【解決手段】パノラマ映像から所望する場面を選択する操作を行う場面選択操作手段と、場面選択操作手段によって選択された場面の映像を画面表示する表示手段とを備える映像表示装置における映像表示方法であって、場面選択操作手段による場面の選択に応じて、配信サーバから配信された映像を表示手段に表示する映像表示ステップと、場面選択操作手段による場面の選択が行われる度に、パノラマ映像上の空間的な画面位置と、画面の画角情報とを含む視聴記録情報を選択された場面を特定する情報として記憶手段に記憶する視聴記録記憶ステップとを有する。
【選択図】図１

Description

本発明は、映像の視聴記録を保存しておき、同じ映像を再度視聴する際に、保存しておいた視聴記録に基づき、同じ状況で映像の視聴を行うことができる映像表示方法、映像表示装置および映像表示プログラムに関する。

近年、映像配信技術やネットワーク技術の高度化により、一般家庭や公衆の場において大容量かつ、双方向の通信サービスが可能となり、インタラクティブな映像サービスが注目されている。この場合のインタラクティブな視聴サービスとは、スポーツやコンサート、舞台などの複数の注目対象が存在するコンテンツにおいて、多様化するユーザの欲求をかなえるため、ユーザ毎に視聴内容・対象を変えて視聴することが可能なサービスのことである。

このようなサービスを実現する最も簡単な方法として、コンテンツ提供者が同じコンテンツ内の異なった被写体を撮影した映像を複数のチャンネルで配信し、視聴者となるユーザが好みの被写体や場面を選んで視聴する方法がある。この場合、ユーザが選べる対象は増えるものの、ユーザに提供する映像はコンテンツ提供者または映像の制作者が選んだカメラワークやカット割りのものとなり、すべてのユーザの好みの被写体や場面を見たいという欲求をかなえることが難しいという問題がある。

このような問題を解決するために、視聴者であるユーザは一般的な視聴端末（例えば、タッチ入力デバイス付のタブレット端末や、ＴＶモニタとコントローラーで操作可能なゲーム端末の組み合わせなど）でパノラマ映像内の所望の場面を選択して高画質な映像を視聴することができる技術が知られている（例えば、非特許文献１参照）。これは、コンテンツ提供者が予め特殊なカメラや複数のカメラを用い、広視野・広画角、かつ通常のＨＤ（high definition）画質以上の映像情報をもった高精細・高品質なパノラマ映像を撮影し、それをコンテンツ提供者が規格Ｈ．２６４等のストリーム配信に適した形で符号化して配信する。視聴者であるユーザはこのパノラマ映像内の所望の場面（所望の視聴位置・画角・フレーム位置等）を選択して高画質な映像を視聴することができるようになり、ユーザの欲求をかなえることが可能となる。

木全 英明、石橋 聡："２−５ インタラクティブ・パノラマ映像システム"、電子情報通信学会誌 ９３（５），３８７−３９１，２０１０−０５−０１

上述した非特許文献１の技術により、ユーザはコンテンツ提供者側から配信されるパノラマ映像ストリームの好みの被写体や場面だけを通常の視聴端末で視聴することが可能となる。しかしながら、この方法では、ユーザは好みの被写体や場面を選び、一人だけで（あるいはその場にいる仲間とともに）視聴しただけであり、再度同じコンテンツを視聴する際は、また同じ好みの被写体や場面の選択操作をしなければならない。また、自身の好みの被写体や場面をその場にはいない他のユーザに見せたい、他のユーザの好みの被写体や場面も見てみたい、という欲求には応えられないという問題がある。

また、好みの被写体や場面の選択視聴時において、不要な手振れや不要なズームイン／ズームアウト等の粗野な視聴位置・画角選択（カメラワーク）が入ってしまうため、ユーザが選択視聴する方法は高品質とはいえず、後から繰り返し視聴する際には適さないという問題もある。さらに、パノラマ映像視聴では、一般的なテレビコンテンツよりも広視野・広画角な映像中の被写体や場面を選択視聴するため、ユーザによって見ている場面や被写体が異なるなど、これまで用いられてきたテレビコンテンツ毎の視聴率調査だけでは、ユーザの嗜好を把握できないという問題もある。

本発明は、このような事情に鑑みてなされたもので、パノラマ映像を視聴する際に、視聴者の視聴端末上においてパノラマ映像内の所望の場面を選択して視聴した視聴状況の情報を記録することができる映像表示方法、映像表示装置および映像表示プログラムを提供することを目的とする。

本発明は、パノラマ映像から所望する場面を選択する操作を行う場面選択操作手段と、前記場面選択操作手段によって選択された場面の映像を画面表示する表示手段とを備える映像表示装置が行う映像表示方法であって、前記場面選択操作手段による前記場面の選択に応じて、配信サーバから配信された映像を前記表示手段に表示する映像表示ステップと、前記場面選択操作手段による前記場面の選択が行われる度に、前記パノラマ映像上の空間的な画面位置と、前記画面の画角情報とを含む視聴記録情報を前記選択された場面を特定する情報として記憶手段に記憶する視聴記録記憶ステップとを有することを特徴とする。

本発明は、前記記憶手段に記憶された視聴記録情報を読み出し、前記場面選択操作手段によって選択された場面の映像を前記パノラマ映像から切出し、ダウンロードまたはストリーミング配信可能な映像形式で出力する選択場面抽出ステップをさらに有することを特徴とする。

本発明は、前記視聴記録情報は、時間変化とともに前記記憶手段に記憶され、前記記憶手段に記憶された前記視聴記録情報に対して、ユーザの意図しない操作を補正または除去する視聴記録補正ステップをさらに有することを特徴とする。

本発明は、前記記憶手段に記憶された前記視聴記録情報を他の映像表示装置に送信し、前記他の映像表示装置の記憶手段に記憶させる視聴情報送信ステップをさらに有することを特徴とする。

本発明は、前記記憶手段に記憶された前記視聴記録情報を読み出す視聴記録読み出しステップをさらに有し、前記映像表示ステップは、読み出した前記視聴記録情報に基づき選択された前記パノラマ映像の場面の映像を前記表示手段に表示することを特徴とする。

本発明は、前記読み出した前記視聴記録情報に基づき選択された前記パノラマ映像の場面の映像を前記表示手段に表示中に、前記場面選択操作手段によって場面選択の操作が行われた場合に、前記場面選択操作手段によって選択された場面を優先して前記表示手段に表示することを特徴とする。

本発明は、前記記憶手段に記憶された前記視聴記録情報を解析する視聴記録解析ステップをさらに有し、前記映像表示ステップは、解析した前記視聴記録情報に基づき解析結果を前記表示手段に表示することを特徴とする。

本発明は、パノラマ映像から所望する場面を選択する操作を行う場面選択操作手段と、前記場面選択操作手段によって選択された場面の映像を画面表示する表示手段と、前記場面選択操作手段による前記場面の選択に応じて、配信サーバから配信された映像を前記表示手段に表示する映像表示手段と、前記場面選択操作手段による前記場面の選択が行われる度に、前記パノラマ映像上の空間的な画面位置と、前記画面の画角情報とを含む視聴記録情報を前記選択された場面を特定する情報として記憶手段に記憶する視聴記録記憶手段とを備えることを特徴とする。

本発明は、コンピュータに、前記映像表示方法を実行させるための映像表示プログラムである。

本発明によれば、広視野・広画角、かつ通常のＨＤ画質以上の映像情報をもった高精細・高品質なパノラマ映像内の所望の場面（所望の視聴位置・画角・フレーム位置等）を選択して視聴した際に、視聴した場面を特定する情報を記録した視聴記録を保存しておくことができるため、同じパノラマ映像ストリームを再度視聴する際、視聴位置選択操作をすることなく好みの映像を視聴することができるようになるという効果が得られる。また、保存した視聴記録に対して、補正を施すことができるようにしたため、視聴記録を使用して再度同じパノラマ映像ストリームを視聴する際に見にくい要素を除去することができる。また、視聴記録を解析することにより、これまでに用いられてきたテレビコンテンツ（パノラマコンテンツ）毎の視聴率調査に加え、パノラマ映像ストリームのフレーム位置毎に、どの視聴位置・画角が最も視聴されていたか（視聴頻度）が把握できるようになるため、ユーザのより細かい嗜好を把握可能となる。

本発明の一実施形態の構成を示すブロック図である。 図１に示す映像表示システムが、ユーザが要求した視聴領域を視聴しながら、視聴している視聴領域に関する情報（視聴記録）を記録・保存する動作を示すフローチャートである。 図１に示す視聴クライアント２００におけるパノラマ映像の視聴動作を示す説明図である。 視聴領域の変更動作を示す説明図である。 視聴領域の変更動作を示す説明図である。 視聴領域の変更動作を示す説明図である。 視聴領域の変更動作を示す説明図である。 視聴領域の変更動作を示す説明図である。 視聴領域の変更動作を示す説明図である。 視聴記録を保存する動作を示す説明図である。 記録した視聴記録の２次元的な位置（視聴領域基準位置）の補正を行う動作を示す図である。 記録した視聴記録の画角の補正を行う動作を示す説明図である。 ｄ（ｕ）式を適用する範囲決定条件を示す説明図である。 視聴記録のデータ構造を示す説明図である。 パノラマ映像ストリーム中の任意のフレーム位置における視聴位置と画角の視聴頻度を提示する動作を示す説明図である。 作成した視聴記録を他のユーザに送付することにより、視聴記録を共有する動作を示す説明図である。 利用形態の変形例を示す図である。 利用形態の他の変形例を示す図である。 ユーザが保存した視聴記録を元に、パノラマ映像ストリームから視聴記録に記録された視聴領域を抽出し、ダウンロードして保存する動作を示す説明図である。

以下、図面を参照して、本発明の一実施形態による映像表示システムを説明する。図１は同実施形態の構成を示すブロック図である。図１に示す映像表示システムは、ユーザが要求するパノラマ映像ストリームの一部分の領域を視聴でき、さらに視聴した領域の情報を保存することができる。映像表示システムは、配信サーバ１００と、視聴クライアント２００とから構成し、ユーザは視聴クライアント２００を介してパノラマ映像ストリームの視聴領域を要求し、要求した視聴領域を視聴する。

配信サーバ１００は、パノラマ映像ストリームが保存されたコンテンツ保存部１１０、コンテンツ配信を行うコンテンツ配信部１２０、ユーザの視聴記録を保存する視聴記録保存部１３０、ユーザの視聴記録に予め決められた補正を行う視聴記録補正部１４０、視聴記録を記憶して管理する視聴記録管理ＤＢ（データベース）１５０、ユーザが入力デバイスを用いて指定した視聴記録と、コンテンツであるパノラマ映像ストリーム（または、例えばコンテンツ保存部１１０にパノラマ映像ストリームと併せて保存されているとする非圧縮パノラマ映像コンテンツ）を読み出し視聴記録に記録された場面の映像を切出す選択場面抽出部１６０、切出された場面の映像をダウンロードまたはストリーミング配信が可能な形式で保存する抽出コンテンツ保存部１７０によって構成する。

視聴クライアント２００は、コンテンツ出力部２１０、出力画面描画部２２０、コンテンツデコード部２３０、入力受信部２４０、デコード領域決定部２５０、視聴記録保存決定部２６０、ユーザインタフェース決定部２７０、視聴記録一時記憶部２８０および入力デバイス２９０を備える。入力受信部２４０は、配信サーバ１００に保存されたパノラマ映像ストリームのある任意のタイミングにおいて、ユーザが入力デバイス２９０を用いて要求する視聴領域に関するユーザ入力情報（視聴記録）を受け付ける。ここでは、視聴したいパノラマ映像ストリーム上の時刻と、その時刻に対応するフレーム位置、画面上の２次元的な位置、画角で構成する情報を一定時間記録したものを視聴記録と呼ぶ。

視聴記録保存決定部２６０は、入力受信部２４０が受け取ったユーザ入力情報を保存するか否かを決定する。視聴記録一時記憶部２８０は、入力受信部２４０が受け取ったユーザ入力情報を一時的に記憶しておく。デコード領域決定部２５０は、入力受信部２４０が受け取ったユーザ入力情報に応じて、配信サーバ１００からのパノラマ映像ストリームの中のデコード領域を決める。コンテンツデコード部２３０は、実際にユーザの要求する視聴領域をデコードして出力する。ユーザインタフェース決定部２７０は、ユーザが入力視聴クライアント２００の操作を理解するために必要な描画（例えば、ボタンの押下やメニュー画面表示操作など）を決定する。コンテンツ出力部２１０は、表示装置で構成し、コンテンツデコード部２３０でデコードしたユーザの要求する視聴領域およびユーザインタフェース決定部２７０で決定されたユーザが操作を理解するために必要な画面の表示を行う。出力画面描画部２２０は、コンテンツ出力部２１０に画面の描画を行う。

なお、コンテンツ保存部１１０に保存されたパノラマ映像ストリームは、例えば、複数のカメラを用いて撮影された広画角・広視野な映像や、魚眼レンズ・魚眼カメラを用いてカメラの周囲を撮影したもの等が適用可能である。また、その保存方法および配信方法は、例えば、規格Ｈ．２６４やＭＰＥＧ２などの符号化技術で圧縮されたもののＶＯＤ視聴による配信等が適用可能である。

図１においては、便宜的に配信サーバ１００と視聴クライアント２００を同じ図面上に記載したが、両者の設置される位置、空間は別で、有線・無線に関わらずネットワークで接続されていてもよいし、配信サーバ１００が複数あり、視聴クライアント２００を視聴するユーザが接続する配信サーバを選択してもよい。また、視聴クライアント１００とそれを視聴するユーザの組は複数あってもよい。また、配信サーバ１００内にコンテンツ配信部１２０、視聴記録補正部１４０、コンテンツ保存部１１０、視聴記録保存部１３０は便宜的に一つの配信サーバ１００内に収めたが、コンテンツ配信部１２０、コンテンツ保存部１１０、視聴記録補正部１４０、視聴記録保存部１３０がそれぞれ別のサーバ筐体、ＰＣ（パソコン）筐体内にあってもよい。また、コンテンツ配信部１２０、コンテンツ保存部１１０、視聴記録補正部１４０、視聴記録保存部１３０それぞれが別々の筐体、ＰＣ内、およびＮＡＳ（Network Attached Storage）などを利用し、コンテンツ保存部１１０や視聴記録保存部１３０が有線・無線に関わらずネットワークに接続され、各機能・保存領域間でネットワークを介したデータのやり取りが行われていてもよく、コンテンツ配信部１２０、視聴記録補正部１４０の保存領域の実装形態は問わない。

また、選択場面抽出部１６０と抽出コンテンツ保存部１７０は配信サーバ１００内にあると説明したが、両者の設置される位置、空間は別で、有線・無線に関わらずネットワークで接続されていてもかまわない。また、抽出コンテンツ保存部１７０はコンテンツ保存部１１０と同じ筐体内にあってもかまわないし、別の筐体であってもかまわない。

また、入力デバイス２９０とコンテンツ出力部２１０が一体となっていてもよい。さらに、視聴クライアント２００は、デコード領域決定部２５０、コンテンツデコード部２３０、コンテンツ描画部２２０のような演算を必要とする処理が行える端末、例えばタッチパネル付のスマートフォンやタブレット端末を用いてもよい。また、一般的なＰＣに演算処理をさせ、入力装置として、一般的なコントローラーやゲームパッド、キーボード等を入力デバイス２９０として用い、かつ、一般的なテレビモニタや液晶テレビ、プロジェクタ等の出力装置をコンテンツ出力部２１０として用いるようにしてもよい。

次に、図２を参照して、図１に示す映像表示システムを用い、ユーザが要求した視聴領域を視聴しながら、視聴している視聴領域に関する情報（視聴記録）を記録・保存する動作を説明する。図２は、図１に示す映像表示システムが、ユーザが要求した視聴領域を視聴しながら、視聴している視聴領域に関する情報（視聴記録）を記録・保存する動作を示すフローチャートである。

まず、入力デバイス２９０により、ユーザの視聴領域決定・入力する（ステップＳ１）。これを受けて、入力受信部は、入力デバイス２９０から入力された視聴領域決定情報を受信する（ステップＳ２）。そして、視聴記録を保存する処理が行われているか否かを判定し（ステップＳ３）、行われていなければ、デコード領域決定部２５０は、ユーザが入力した情報に基づきデコード領域を決定し、配信サーバ１００へ視聴領域として要求する（ステップＳ４）。

次に、コンテンツ配信部１２０は、要求された視聴領域をコンテンツ保存部１１０から読み出して配信する（ステップＳ５）。これを受けて、コンテンツデコード部２３０は、配信された視聴領域をデコードする（ステップＳ６）。また、その他必要なユーザインタフェース（ＵＩ）パーツの描画内容を決定する（ステップＳ７）。

次に、コンテンツデコード部２３０は、デコードされた視聴領域とその他必要なユーザインタフェース（ＵＩ）パーツを出力画面描画部２２０へ引き渡し、これを受けて、出力画面描画部２２０は、描画処理を行い、コンテンツ出力部２１０に映像を表示する（ステップＳ８）。ユーザは、コンテンツ出力部２１０に表示された視聴領域を視聴し（ステップＳ９）、ステップＳ１に戻って処理を繰り返す。

次に、視聴記録を保存する処理が行われている場合、視聴記録保存決定部２６０は、入力受信部２４０で受信した情報を視聴記録一時記憶部２８０に保存する（ステップＳ１０）。そして、視聴終了処理が行われたか否かを判定し（ステップＳ１１）、終了処理が行われていなければ、ステップＳ４へ移行し処理を繰り返す。

一方、視聴終了処理が行われた場合、視聴記録一時記憶部２８０に保存された視聴記録を視聴記録保存部１３０に保存する（ステップＳ１２）。そして、視聴記録管理ＤＢ１５０に視聴記録管理情報を記録する（ステップＳ１３）

なお、視聴記録を保存するか否かによって条件分岐する部３００の設定はユーザ、または本システム管理者が予めシステム内（例えば入力視聴クライアント２００内）に用意された設定ファイルの変更等で行っておくものとする。

このようにして視聴記録を作成し、視聴記録保存部１３０に保存された視聴記録を入力受信部２４０に入力し、あたかもユーザが入力した情報として処理することで、ユーザは自身が過去にコンテンツ保存部１１０に保存されたパノラマ映像ストリームを視聴した際に記録し、視聴記録保存部１３０に保存しておいた視聴記録（または同様のシステムを持つ他のユーザが記録した視聴記録もしくは、人物自動トラッキング装置のようなシステムが自動的に記録した記録）に基づき、コンテンツ保存部１１０に保存されているパノラマ映像ストリームを再生して視聴することができる。

なお、入力受信部２４０に視聴記録を入力する前に、視聴記録補正部１４０の機能を用い、視聴記録保存部１３０に保存された視聴記録に予め決められた補正をかけておくことが可能である。また、ユーザは入力受信部２４０に入力された視聴記録情報を自身の入力で上書き、入力受信部２４０に入力された視聴記録保存部１３０に保存された視聴記録情報とは異なる、ユーザが所望する視聴領域を予め決められた操作を行っている間だけ（例えばユーザが入力操作を行っている間だけ）視聴するようにしてもよい。

次に、図３を参照して、図１に示す視聴クライアント２００におけるパノラマ映像の視聴動作を説明する。図３は、図１に示す視聴クライアント２００におけるパノラマ映像の視聴動作を示す図である。図３においては、図１に示す視聴クライアント２００が具備する機能をすべて備えた端末であるタブレット型端末５００と、パノラマ映像ストリーム５５０が蓄積され、図１に示す配信サーバ１００が持つ機能を全て備えたサーバ５１０とが無線ネットワーク５９０によって接続されているものとして説明する。

タブレット型端末５００は、サーバ５１０に保存されたパノラマ映像ストリーム５５０のうち、ユーザが要求した任意の視聴領域５６０を表示領域５８０上に表示可能である。
また、タブレット型端末５００の表示領域５８０を視聴するユーザは自身の指５１（タッチ位置）でタブレット型端末５００の画面をタッチ＆ドラッグ操作することにより、視聴するパノラマ映像ストリーム５５０の任意の２次元的位置（図３に示す視聴領域基準位置（ｘ，ｙ）５６１）を変更することができる。さらに、タブレット型端末５００の画面を２本の指でピンチイン・ピンチアウト操作を行うことで、視聴するパノラマ映像ストリーム５５０の任意の画角（視聴領域横方向解像度ｖ５６２を視聴領域縦方向解像度ｈ５６３で割った値（比率））を変更することができる。ユーザによる２次元的位置や画角の変更に応じて、表示領域５８０に表示されるパノラマ映像ストリーム５５０の映像の一部（視聴領域５６０）は変更されことになる。

ここでは、タブレット型端末５００とサーバ５１０間の通信は無線ネットワークを利用したが、例えば有線ネットワーク、公衆無線ＬＡＮやＷｉＦｉ、第三世代移動通信システムや第四世代移動通信システム等を利用してもよいものとする。

次に、図４〜図９を参照して、視聴領域の具体的な変更例について説明する。図４〜図９は、視聴領域の変更動作を示す説明図である。まず、ユーザがタブレット型端末５００で視聴している時刻ｔ１（図４）における視聴領域６４０を移動する動作を説明する。ユーザは、タブレット型端末５００が持つ表示領域５８０上の座標系Ｏ’における点Ｐ１（ｘ_１’，ｙ_１’）を指でタッチする。ユーザは視聴領域６４０を移動するため指のタッチ位置を点Ｐ２（ｘ_２’，ｙ_２’）まで移動する。その際、時刻はｔ１からｔ２に変化しているため、パノラマ映像ストリーム６００も時間の経過とともにパノラマ映像ストリーム６０５に変化している（図５）。当然ながらユーザの視聴するタブレット型端末５００に表示された視聴領域に表示される画像も前記パノラマ映像ストリームの時間変化と共に変化すると同時に、ユーザのタッチ位置の変化により、例えば、（１）式、（２）式の値だけ、ユーザの視聴する視聴領域６４０の２次元位置が、視聴領域６４５の位置に変化している（図５）。

ただし、αは任意の数値とし、後述する画角の変更と共に変化するような値を用いてもよいし、一定の値を用いてもよい。なお、図４に示す視聴領域基準位置６３０の２次元的に変化できる範囲はパノラマ映像ストリーム６００の２次元的な範囲内と限定することや、特に限定を設けず、パノラマ映像ストリーム６００の外側に出ることも可能である。後者の場合、パノラマ映像ストリームがない位置では、例えば黒や白に塗りつぶされた映像や任意の画像が表示された映像をユーザに提示される。

次に、ユーザがタブレット型端末５００で視聴している時刻ｔ３（図６）において視聴領域６６０の画角を変更する動作を説明する。ただし、ここでは例として、視聴領域６５０の視聴領域横方向解像度ｖ６５２と視聴領域縦方向解像度ｈ６５１の割合ｖ：ｈは、通常のテレビモニタへの表示を意識し、１６：９に固定とする。ユーザはタブレット型端末５００が持つ表示領域５８０上に２本の指をタッチする。その時の２本指間の距離をｓ３とする。ユーザは視聴領域６５０の画角を変更するために、２本の指をタッチしたまま、指の間隔を、時刻ｔ４（図７）までかけて距離ｓ４まで広げる。それにつれて、視聴領域が視聴領域基準点６５３を中心として、視聴領域６５０が視聴領域６５５に動的に変化する（図７）。この時、図７に示す視聴領域６５０の視聴領域横方向解像度ｖ・６５２、視聴領域縦方向解像度ｈ・６５１と、視聴領域６５５の視聴領域横方向解像度ｖ２・６５４、視聴領域縦方向解像度ｈ２・６５３との間には、（３）式〜（６）式が成り立つ。

ただし、βはタブレット型端末５００の大きさや、ユーザの使いやすさ（画角の変更しやすさ）によって変更できる任意の定数とする。なお、視聴領域基準位置６５０の変更できる画角の最小値、最大値は別途設定ファイル等で制限することも可能とする。また、特に画角変更の際、パノラマ映像ストリームがない位置を視聴領域に含んだ場合は、例えば黒や白に塗りつぶされた映像や任意の画像が表示された映像をユーザに提示されるものとする。

また、視聴領域横方向解像度ｖと視聴領域縦方向解像度ｈの割合ｖ：ｈは、通常のテレビモニタへの表示を想定して１６：９としたが、この値は任意であり、４：３とすることや、ユーザの２本指のそれぞれの２次元座標を読み込んで、それらの値から比率を計算してもよい。例えば、図８に示すように、２本の指による２点のタッチ位置の水平方向距離をａ、垂直方向距離をｂとした場合、視聴領域横方向解像度ｖ３と視聴領域縦方向解像度ｈ３は、ａ：ｂ＝ｖ３：ｈ３を満たすようにする。そして、図８に示す状態から時間が進み、図９に示す状態になった際に、２本の指による２点のタッチ位置の水平方向距離をａ’、垂直方向距離をｂ’とした場合、視聴領域横方向解像度ｖ４と視聴領域縦方向解像度ｈ４は、ａ’：ｂ’＝ｖ４：ｈ４を満たすように、視聴領域を決定するようにしてもよい。

次に、ユーザが前述した方法で、自身の見たい視聴位置の２次元的な位置（視聴領域基準位置）、画角（視聴領域の縦方向と横方向の解像度の比率）を入力デバイス２９０を用いて変更しながらパノラマ映像ストリームを視聴する動作を説明する。ユーザがパノラマ映像ストリームを視聴している最中に、ユーザの好きなシーンや被写体があった場合、ユーザは自身の所望のシーンや被写体を視聴記録として記録しておく。例えば、図１０に示すように、タブレット型端末５００の表示領域５８０内に、操作呼出ボタン７００を設けておき、ユーザがこの操作呼出ボタン７００を指でタッチすると（図１０（ａ）参照）、視聴操作ボタン７１０（再生、停止、一時停止、早送り・巻き戻し等）と、視聴記録開始ボタン７２０、視聴記録停止ボタン７３０が表示領域５８０に表示される。図１０は、視聴記録を保存する動作を示す説明図である。

ここで、パノラマ映像ストリームでユーザが所望するシーン、被写体を見つけ、視聴記録として記録したいと思い、視聴記録開始ボタン７２０を指でタッチすると、視聴記録の記録が開始される。そして、視聴記録停止ボタン７３０を指でタッチするまで、タブレット型端末５００が表現できるフレームレート以上の間隔でタブレット型端末５００のシステムリソースが許す限りの頻度で、タブレット型端末５００のキャッシュ領域（図１に示す視聴記録一時記憶部２８０）にユーザの視聴記録が記憶される。視聴記録は、パノラマ映像上の２次元的な位置（視聴領域基準位置）、画角（視聴領域の縦方向と横方向の解像度の比率）および、その視聴状態の際のパノラマ映像ストリームにおける再生時刻（映像先頭フレームからの再生経過時間）とその時刻に対応するフレーム位置の情報で構成する。

そして、ユーザが任意のタイミングで視聴記録停止ボタン７３０を指でタッチし、視聴記録を停止した後、視聴操作ボタン７１０を用いて、パノラマ映像ストリームを視聴後、再度好みのシーンや被写体を見つけた場合、同様の方法で視聴記録開始ボタン７２０を指でタッチすると、先に記録した視聴記録に追記する形で、視聴記録が記録される。このような時間的に不連続なパノラマ映像ストリームを視聴記録に保存した場合、後述の視聴記録に基づいたパノラマ映像表示時に、「シーン転換」として扱われる。ユーザによる視聴記録を記録する一連の作業はユーザがパノラマ映像ストリームの視聴を停止する処理（例えば、視聴操作ボタン７１０の停止ボタンをタッチする等）を行うまで続く。

ユーザが視聴記録を作成する作業を行い、パノラマ映像ストリームの視聴を停止する処理を行った場合、タブレット型端末５００のキャッシュ領域（視聴記録一時記憶部２８０）に保存された視聴記録を、視聴記録保存部１３０を持つサーバ５１０にアップロードするか否かを選択する。例えば、図１０（ｃ）に示すような視聴記録保存確認画面７４０で選択する。アップロードをする（保存する；ＹＥＳ）を選択した場合、タブレット型端末５００のキャッシュ領域に保存された視聴記録は、サーバ５１０の視聴記録保存部１３０に保存する。その際、視聴記録情報を管理するデータベース（ＤＢ；視聴記録管理ＤＢ１５０）に、視聴記録に関する情報（作成者、作成日時、視聴記録の記録時間、シーン数、視聴記録の所有者、視聴回数（初回は０回）等）を記録し、サーバ５１０に保存された視聴記録と関連付ける。

そして、パノラマ映像ストリームの視聴・記録が完了した場合、図１０（ｄ）に示すコンテンツ選択画面に戻る。コンテンツ選択画面はユーザが視聴したい（また、視聴記録を作成したい）パノラマ映像ストリームを選択するパノラマ映像ストリーム選択部７５０と、これまでに作成した視聴記録を選択してパノラマ映像ストリームを視聴記録に従って再生する視聴記録選択部７６０から成る。視聴記録選択部７６０に表示される視聴記録に関する情報は、視聴記録管理ＤＢ１５０から取得した情報を表示する。

なお、ここでは、パノラマ映像ストリーム選択部７５０、視聴記録選択部７６０と分け、１画面内に表示したが、両者が別のページにあることや、各パノラマ映像ストリームに対応する視聴記録選択画面が存在してもよい。また、パノラマ映像ストリームも視聴記録も、選択画面では同じアイコンで示しているが、アイコンは任意に変更可能であることに加え、アイコンを用いず、リスト表示にすることも可能であり、表示方法はこの限りではない。また、視聴記録選択部７６０の各視聴記録の下に対応するパノラマ映像ストリーム名と視聴記録を記録した時間を表示しているが、前記視聴記録管理ＤＢ１５０から取得し、計算によって得られる値であれば、表示するのはこの限りではない。

また、視聴記録開始ボタン７２０、視聴記録停止ボタン７３０を格納した領域は、領域を開くための操作呼出ボタン７００をタッチして一旦開くと再度同じ領域の下部の領域を閉じるためのボタン７７０をタッチするか、視聴記録開始ボタン７２０または、視聴記録停止ボタン７３０をタッチしなければ閉じないようにしているが、視聴記録開始ボタン７２０、視聴記録停止ボタン７３０を格納した領域を開いて、一定時間操作しない場合や、パノラマ映像ストリーム部分をタッチした場合に領域を閉じるようにしてもよく、その実装および、ユーザインタフェースのボタンや領域の配置等は本実施例に記載の形態に関わらない。また、一旦視聴記録開始ボタン７２０で視聴記録を開始後、視聴記録を停止するためには視聴記録停止ボタン７３０をタッチするようにしたが、一定時間のみ視聴記録できるようにするなど、前述した形態にはこだわらない。

また、ユーザがパノラマ映像ストリーム視聴を停止した際に、視聴記録保存を確認する視聴記録保存確認画面７４０を表示し、保存の可否を選んだが、確認画面なしにすべての視聴記録を保存することや、特定の長さ以上の視聴記録のみを保存する等、その保存の過程や保存条件は問わない。また、視聴記録管理ＤＢ１５０に保存する視聴記録に関する情報についても、前述した以外にも、視聴記録を作成した端末の個別情報や、視聴記録を作成した場所等、様々な情報があり得る。

次に、記録した視聴記録に従い、ユーザがパノラマ映像ストリームを再生する方法について説明する。ユーザは図１０（ｄ）に示す視聴記録選択部７６０から所望の視聴記録を選択（タッチ）し、パノラマ映像ストリームの映像の視聴を開始する。選択された視聴記録は、一旦タブレット型端末５００内のキャッシュ領域に保存され、あたかもユーザが入力した情報のように図１に示す入力受信部２４０に与えられる。ユーザは図１０（ａ）、（ｂ）に表示された、前述した方法で視聴記録に基づいたパノラマ映像ストリーム視聴が可能となる。

ユーザが視聴記録に基づいたパノラマ映像ストリーム視聴を行っていた際、視聴記録とは異なる２次元位置・画角の映像を視聴したい際は、ユーザはそのタイミングでタブレット端末が持つ視聴領域５８０をタッチする。すると、視聴記録に記録された視聴位置の２次元位置・画角ではなく、ユーザがタッチした２次元位置・画角の映像を視聴することができる。この視聴記録から外れた視聴はユーザがタッチを離すまで続く。

なお、この視聴記録から外れた視聴中に、元の視聴記録におけるシーン（記録された元のパノラマ映像ストリームの時間的な位置）が変わった場合、ユーザのタッチ操作が続いているのであれば、視聴記録のシーンの転換は無視する、または、無視せず視聴記録に基づいたシーン転換が行われる、のどちらでもよい。

さらに、視聴記録に従ってパノラマ映像ストリームを視聴している際、および、その視聴時に視聴記録から外れた視聴を行った際のどちらにおいても、前述の視聴記録を記録する方法（例えば視聴記録開始・停止ボタンを選択する）を行うことで、視聴記録（視聴記録に従ったパノラマ映像ストリーム視聴を行う際に用いる視聴記録）とは異なった新たな視聴記録を記録することも可能である。

次に、視聴記録に残るユーザの意図しない操作を補正または除去する方法を示す。ユーザの意図しない操作とは、例えば、ユーザ操作の高周波成分、いわゆる手振れであったり、パンニング・ズーム操作時の不均一なパンニングスピード・ズームスピードであったり、画面（および入力デバイス）の狭いタブレット型端末での視聴時における広範囲なパンニング操作（通常、視聴位置移動のためのフリック操作を複数回行い、その複数回のフリック操作間では、パンニング中であるにもかかわらず、映像が静止する）、さらに画面（および入力デバイス）の狭いタブレット型端末での視聴時における変更料の大きい画角変更操作（通常、視聴画角変更のためのピンチイン・ピンチアウト操作を複数回行い、その複数回のピンチイン・ピンチアウト操作間では、画角変更中であるにもかかわらず、映像が静止する）である。

次に、図１１を参照して、記録した視聴記録の２次元的な位置（視聴領域基準位置）の補正を行う動作を説明する。図１１は、記録した視聴記録の２次元的な位置（視聴領域基準位置）の補正を行う動作を示す図である。視聴記録の補正は、図１に示す視聴記録補正部１４０が行い、その補正タイミングは、視聴記録保存時、任意の時間でのバッチ実行、視聴記録に基づくパノラマ映像ストリーム視聴時において、視聴記録一時記憶部２８０に視聴記録が保存される直前等、いつでもよい。ここでは、視聴記録保存時に補正が行われるものとして説明する。

まず、補正の内容として、視聴領域の２次元的な位置（視聴領域基準位置）の補正について説明する。ユーザが自身のタッチ操作により２次元的な位置を視聴記録に保存する場合、ユーザが気付かない（意識しない）身体の揺れによる、いわゆる手振れ（一般的に高周波な揺れ）が発生することがある。この手振れは、視聴記録にそのまま記録されることになるため、視聴記録に基づくパノラマ映像ストリーム視聴時、視聴者の視聴位置がぶれることにつながり、後からの視聴において非常に視聴しづらい原因の一つとなる。この高周波な揺れを除去するため、視聴記録に記録された視聴位置の２次元的な位置（ｘの値、ｙの値）に（７）式に基づきローパスフィルタをかける（図１１参照）。

ただし、ｘ’［ｉ］は、ある離散的なタイミングｉ（ここでは、パノラマ映像ストリームにおける再生時刻、とその時刻に対応するフレーム位置）でのｘ値をｘ［ｉ］とする。
ただし、αは重みづけであり、０≦α≦１である。

ｙの値についても同様に、（８）式がいえる。

なお、この補正は、時間的に不連続なパノラマ映像ストリームが視聴記録（シーン転換が含まれる視聴記録）に保存されていた場合、時間的に連続な部分のみに対して適用してもよいし、シーン転換を考えない形、すなわち視聴記録全体に対して適用してもよい。

次に、図１２を参照して、記録した視聴記録の画角の補正を行う動作を説明する。図１２は、記録した視聴記録の画角の補正を行う動作を示す説明図である。画角の補正は、２次元的な位置（視聴領域基準位置）の補正と同様に、図１に示す視聴記録補正部１４０が行い、その補正タイミングは、視聴記録保存時、任意の時間でのバッチ実行、視聴記録に基づくパノラマ映像ストリーム視聴時において、視聴記録一時記憶部２８０に視聴記録が保存される直前等、いつでもよい。ここででは、視聴記録保存時に補正が行うものとして説明する。ユーザが自身のタッチ操作（ここではピンチイン・ピンチアウト操作）により、視聴領域の画角を視聴記録に保存する場合、２次元的な位置の補正を行った場合と同様のユーザが気付かない（意識しない）身体の揺れによる手振れが発生することや、ピンチイン・ピンチアウト時に不意にどちらか、または両方の指がタッチ画面から離れてしまうことがある。このようなブレや指のタッチ画面からの離脱は、視聴記録にそのまま記録されてしまうため、視聴記録に基づくパノラマ映像ストリーム視聴時、視聴者の視聴する画角のブレが発生する、または不連続な動きをすることにつながり、後からの視聴において非常に視聴しづらい原因の一つとなる。このような意図しない画角の変更を除去するため、視聴記録に記録された画角（ｓの値）を、（９）式に基づいて補正する。

ある時間ｔにおける画角ｓ（ｔ）に画角補正を施したものをｓ’（ｔ）とする。

ただし、ｔ_１は画角変更を開始した時間（ｓ_１はその時の値）、ｔ_２は画角変更を終了した時間（ｓ_２はその時の値）、ｄ（ｕ）は補完関数（interpolation function）で、（１０）式で表される。

ここでａは０＜ａ＜０．５の定数とする。（参考：Feng Liu and Michael Gleicher, "Video Retargeting: Automating Pan and Scan," Proceeding MULTIMEDIA '06 Proceedings of the 14th annual ACM international conference on Multimedia, pp.241-250, 2006.）

なお、この補正は、時間的に不連続なパノラマ映像ストリームが視聴記録（シーン転換が含まれる視聴記録）に保存されていた場合、時間的に連続な部分のみに対して適用してもよいし、シーン転換を考えない形、すなわち視聴記録全体に対して適用してもよい。

また、図１２に示すように、ユーザの指が不意にタッチ画面から離れた場合（時刻ｔ_３）、本来であればここを画角変更終了時刻として補正をそれより前の時間帯で適用するが、このユーザの指がタッチ画面から離れて、再度タッチが行われるまでの時間（時刻ｔ_３とｔ_４の差）があまりにも短い場合（短い時間であるか否かを判定するためのしきい値は予め視聴記録補正部１４０に設定しておく）は、ユーザの不意の入力として扱い、画角の補正を適用しないようにする。

なお、ここでは、ｘ，ｙの値にローパスフィルタ、ｓの値に画角補正を適用したが、例えば、ｓの値にもローパスフィルタをかけることや、ｘ，ｙの値に画角補正と同様のｄ（ｕ）式を適用した画角移動（パンニング）操作のスピード均一化を適用する（これにより、前記複数回のフリック操作時の映像の静止を、映像の静止時間が予め決められた時間内（ユーザのフリック操作によるタッチが画面から離れて、再度タッチされるまでの時間で閾値は予め視聴記録補正部１４０に設定しておく）であった場合は、フリック操作とみなし、ｄ（ｕ）式の適用範囲内とすることでフリック操作を除去することも可能）ことや、ｘ，ｙ，ｓの値にその他の任意の関数で表記できる数値補正を施すことも可能である。

例えば、ｄ（ｕ）式の適用範囲は、以下のように設定する。図１３は、ｄ（ｕ）式を適用する範囲決定条件を示す図である。ｄ（ｕ）式を適用する範囲決定条件として、適用開始位置は、図１３（ａ）に示すように、位置変化の傾き(移動速度)の絶対値が一定値より大きくなった場合（一定速度以下の移動は適用開始位置としない)と、変化の傾きが逆になった点とする。ただし、変化の傾きが逆になった直後(時間ｂの間)に元に戻る場合を除く。また、適用終了位置は、図１３（ｂ）に示すように、タッチが離れたときとする。ただし、直後にタッチされ、同じ方向に行かない場合を除く（タッチされない一瞬の期間ｃとする)。また、適用終了位置は、図１３（ｃ）に示すように、変化の傾きが逆になった点とする。ただし、変化の傾きが逆になった直後に元に戻る場合を除く(変化の傾きが元に戻るまでの一瞬の期間をｂとする)。

また、画角補正において、ｄ（ｕ）式の適用開始位置は、適用開始位置は、ピンチインまたはピンチアウト操作が始まったときとし、適用終了位置は、ピンチインまたはピンチアウト操作が終わったときとする。ただし画角変更中にタッチが離れすぐに画角変更に復帰した場合を除く。

この方法を利用すれば、一旦記録した視聴記録の２次元位置、画角を変更することができる。また、補正・変更を行ったとしても、その補正や変更において、元のサーバに保存されたパノラマ映像ストリームは、通常の表示端末以上の解像度、画角を持った映像であるため、視聴記録に記録されたパノラマ映像の一部の視聴領域を他の部分に置き換えたりずらしたりしたとしても、映像の劣化や元のパノラマ映像ストリームの再撮影の必要もなく、十分高品質なコンテンツが作成可能となる。

次に、図１４を参照して、視聴記録のデータ構造を説明する。図１４は、視聴記録のデータ構造を示す図である。視聴記録は、ユーザが視聴した、パノラマ映像ストリーム中の再生時間（Ｔｉｍｅ；時間：分：秒．ミリ秒）と、フレーム位置を示すフレーム番号（ｆｒａｍｅ）と、このフレームでの視聴領域の中心（ｘ−ｐｏｓｉｔｉｏｎ，ｙ−ｐｏｓｉｔｉｏｎ）と視聴領域の大きさ（ｈｏｒｉｚｏｎ，ｖｅｒｔｉｃａｌ）が関係付けられて記録される。これらのデータは、テキストデータによって記録される。

視聴記録は、視聴記録開始ボタンを押下した時から視聴記録停止ボタンを押下した時まで記録されるため、ユーザが記録したいと思ったパノラマ映像ストリーム中の時間が不連続であったとしても、図１４に示す通り、視聴記録に別のシーンとして追記して記録されていく。

もちろん、Ｔｉｍｅの部分をパノラマ映像ストリームにおけるフレーム位置（開始後何フレーム目か）を記録する等、パノラマ映像ストリーム中のどの時間位置の再生を行っているかが明示的に分かれば表現方法は問わない。また、記録間隔は、ユーザが後から視聴記録に沿った視聴を行う際に、表示に使う予定のデバイスが出力／表現できるフレームレート以上の間隔とする。もし半分のフレームレートしか表現できないデバイスで視聴記録再生を行った場合、表示できないフレーム（図１４に示す下線部分）は間引かれることになる。

また、（ｘ，ｙ）や（ｈｏｒｉｚｏｎ，ｖｅｒｔｉｃａｌ）の値も、パノラマ映像ストリームにおけるユーザの視聴位置と視聴画角が一意に定まる点であればその表現方法は問わない。

また、視聴記録中に再生したコンテンツ名を記録し、別々のコンテンツを切り替えても一つの視聴記録に記録できるようにしてもよい。この場合、視聴記録に沿った視聴をした場合、該当位置でシーン転換と同時にコンテンツが切り替わることになる。

次に、図１５を参照して、視聴記録保存部１３０に保存された視聴記録群を解析することで、パノラマ映像ストリーム中の任意のフレーム位置における視聴位置と画角の視聴頻度を提示する動作を説明する。図１５は、パノラマ映像ストリーム中の任意のフレーム位置における視聴位置と画角の視聴頻度を提示する動作を示す図である。視聴記録保存部１３０には、ユーザが視聴記録を保存するに従い、複数の視聴記録が蓄積する。視聴記録には、パノラマ映像ストリーム中の任意のフレーム位置におけるユーザの視聴位置と画角が記録されているため、一度以上視聴された、フレーム位置における視聴記録を全ての視聴記録からフレーム位置毎にソートする。ソート後、該当するフレーム位置における映像の全ピクセル毎に、ソートされた視聴記録を一行ずつ、該当ピクセルが視聴記録に記録された視聴位置・画角に含まれているかを判定し、含まれている場合は重みづけとして「＋１」し、含まれていない場合は重みづけしない、という処理を行う。結果的にフレーム位置毎、かつ、そのフレーム位置に含まれるピクセル毎に、視聴記録において視聴された回数が計算される。例えば、その重みに応じて、温度分布を示すようなＨｅａｔカラーマップ（図１５参照）を作成する（例えば、最も視聴されているピクセルは赤、視聴されていないピクセルは青、全く視聴されていないピクセルは黒）ことで、任意のフレームにおける視聴頻度を視覚的に表すことが可能となる。

なお、視聴頻度の計算は、フレーム位置毎、かつ、ピクセル毎に行ったが、評価するフレーム位置やピクセルをユーザが指定することも可能である。また、重みづけの計算として、１を加算する方法を例示したが、同様の結果が得られるのであればこの限りではない。また、結果の表示方法として、Ｈｅａｔカラーマップを利用したが、視聴頻度が分かるのであればこの限りではない。また、本分析（視聴記録のフレーム毎のソートからパノラマ映像ストリームの各ピクセルにおける視聴頻度重みづけ）はユーザの視聴記録解析・提示の指示により、例えば視聴記録補正部１４０で行い、解析結果をコンテンツ配信部１２０に渡し、その結果を例えばＨｅａｔカラーマップ化して符号化・配信、コンテンツデコード部２３０でのデコード、出力画面描画部２２０での描画を経て、コンテンツ出力部２１０においてユーザに提示するなどの方法が適用できるが、同様の結果が得られるのであれば、分析を行う部位、配信・デコード、描画、出力を行う部位を問わない。

なお、本実施例では、保存された視聴記録群から視聴頻度を分析により得たが、保存された視聴記録群の複数の視聴記録の視聴位置・画角の比較や軌跡比較等の分析を行うこともできる。

次に、図１６を参照して、作成した視聴記録を他のユーザに送付することにより、視聴記録を共有する動作について説明する。図１６は、作成した視聴記録を他のユーザに送付することにより、視聴記録を共有する動作を示す図である。まず、前述した方法により、ユーザがサーバ５１０に保存されたパノラマ映像ストリームを視聴し、視聴記録１０４０を作成し、サーバ５１０の共有可能な領域にアップロードする。視聴記録はテキスト情報であるため、ユーザが所望するパノラマ映像ストリームの一部やいくつかのシーンの映像データそのものを送る場合に比べ、アップロードにかかる時間を短くすることができるとともに、タブレット型端末やサーバ内の保存領域を小さくすることができる。

アップロードされた視聴記録１０４０はサーバ５１０内の誰もがアクセスすることのできる共有領域にあった場合、タブレット型端末５００−１を有するユーザ（第１のユーザ）とは別のユーザ（第２のユーザ）も視聴記録１０４０は閲覧可能であり、ダウンロードすることも可能である。ここで、第２のユーザがパノラマ映像ストリームを視聴するためのタブレット型端末５００−２を持っており、第１のユーザと同じパノラマ映像ストリームコンテンツを視聴できる環境があれば、第２のユーザは第１のユーザが作成した視聴記録１０４０をダウンロードし、自身のタブレット型端末５００−２内の視聴記録一時記憶部２８０に保存し、視聴記録１０４０に沿ったパノラマ映像ストリームを視聴することで、第２のユーザは第１のユーザが視聴した視聴領域と同じ領域を視聴することが可能になる。

なお、ユーザの視聴記録をサーバ５１０の誰でもが閲覧・ダウンロード可能な共有領域を利用することを説明したが、視聴記録を閲覧・ダウンロード可能なのは１ユーザだけではなく、任意の複数のユーザが視聴記録を閲覧・ダウンロードし、パノラマ映像ストリームを視聴してもよい。さらに、サーバ５１０内に共有可能な領域の他に、個々のユーザのみ閲覧・ダウンロードが可能な領域を設けておき、第１のユーザが所定のユーザ向けに限定的に視聴記録を送付・アップロードした場合、サーバ５１０側で送られてきた視聴記録を受け付け、任意の領域に保存するプログラムが所定のユーザのみが閲覧・ダウンロード可能な領域に保存することで、あるユーザからあるユーザへの視聴記録の限定送付が可能となる。

また、ここではあるユーザが限定的、またはどのユーザも閲覧・ダウンロードできる領域を設けることで、視聴記録を閲覧・ダウンロード可能なユーザを絞ったが、特に領域である必要はなく、視聴記録が記録されたファイルのパーミッションや、別途ＤＢを用意し、ある任意の視聴記録に対して閲覧・ダウンロード可能なユーザを一括管理するような方法でもよい。さらに、任意のユーザが別の任意のユーザに視聴記録を送付する際、特にサーバ５１０を介する必要はなく、ある任意のユーザのタブレット型端末に搭載された視聴記録一時記憶部２８０から視聴記録を読み出し、一般的なメール送信手段やＵＳＢメモリやＣＤ−ＲＯＭのような記憶媒体を介して別の任意のユーザに送付後、別の任意のユーザのタブレット型端末５００に搭載された視聴記録一時記憶部２８０へ読み込むことでユーザ間の視聴記録のやり取りを実現するようにしてもよい。

また、図１６では、サーバ５１０とユーザが持つタブレット型端末５００を介するネットワークとして、無線ネットワーク５９０、１０５０を選択したが、前述のとおり、有線等のネットワークにより実現してもよい。また、ユーザとユーザは別の無線ネットワークに属するよう図示しているが、両者が同じネットワーク内にいてもよい。

次に、図１７を参照して、利用形態の変形例を説明する。図１７は、利用形態の変形例を示す図である。前述した説明においては、ユーザは入力デバイス２９０およびコンテンツ出力部２１０が一体となったタブレット型端末５００を用いたが、ここでは、入力デバイスとコンテンツ出力部が別々のデバイスである例を示す。まず、ユーザが自身の入力操作情報を入力受信部２４０に渡す際に用いる入力デバイス２９０として、ゲームパッド１１８０を用いる。また、ユーザが映像を視聴するコンテンツ出力部２１０として、外部からの映像信号入力機能を持った一般的なモニタ（液晶テレビ）１２１０を利用する。また入力デバイス２９０とコンテンツ出力部２１０以外の機能を持った入力視聴クライアント２００として、ＶＯＤ（Video On Demand）端末１１００を用いることとする。ゲームパッド１１８０は、ＶＯＤ端末１１００に対して公知の通信手段でつながれ、例えば十字キーで視聴領域１１７０を移動、拡大・縮小が割り当てられた二つのボタンを用いてそれぞれ視聴領域１１７０の画角の拡大・縮小等を行う。ＶＯＤ端末１１００は有線ネットワークまたは無線ネットワークによって、サーバ５１０と接続するためのネットワークに接続する無線機能付きのルータ１１２０に接続されている。

これらの機器を用いて、前述したパンラマ映像ストリーム１１６０の視聴、視聴記録作成やアップロード、視聴記録に沿ったパノラマ映像ストリーム視聴、視聴記録の他のユーザへの送付、視聴記録の補正が可能である。ここでは、入力デバイスとしてゲームパッド１１８０を用いたが、一般的なコントローラーやキーボード、マウス等を用いることも可能である。また、ここでいうモニタ１２１０は、一般的なテレビモニタや液晶テレビ、プロジェクタ等の出力装置のことを指す。さらに、入力デバイス２９０とコンテンツ出力部２１０以外の機能を持った入力視聴クライアント２００として、ＶＯＤ（Video On Demand）端末１１００を用いたが、同等の機能を持つならば、一般的なＰＣやサーバ、ゲーム機などを用いてもよい。

次に、図１８を参照して、利用形態の他の変形例を説明する。図１８は、利用形態の他の変形例を示す図である。図１７に示す利用形態では、入力デバイスとコンテンツ出力部が別々のデバイスである例を示したが、図１８に示す利用形態では、ゲームパッド１１８０の代わりに、タブレット型端末１２４０を利用する。タブレット型端末１２４０には入力視聴クライアント２００が持つ機能がすべて具備されており、ＶＯＤ端末１１００には入力デバイス２９０がなく（ただし、ゲームパッドのような入力デバイス２９０が接続され、タブレット型端末１２４０に搭載された入力デバイスと同時に利用できてもよい）、コンテンツ出力部２１０として外部のモニタ１２１０が接続されている。

ユーザはサーバ５１０から配信されるパノラマ映像ストリーム１１６０の配信を、タブレット型端末１２４０およびＶＯＤ端末１１００の両方で受けることができ、タブレット型端末１２４０とＶＯＤ端末１１００に同じ視聴領域を表示するために視聴領域の情報、つまり２次元的な位置（視聴領域基準位置）、画角（視聴領域の縦方向と横方向の解像度の比率）および、その視聴状態の際のパノラマ映像ストリームにおける再生時刻とその時刻に対応するフレーム位置の情報を互いに同期してやり取りしている。

これらの機器を用いて、パノラマ映像ストリームの視聴、視聴記録作成やアップロード、視聴記録に沿ったパノラマ映像ストリーム視聴、視聴記録の他のユーザへの送付、視聴記録の補正が可能である。なお、図１８では、ユーザが視聴記録を作成した場合、タブレット型端末１２４０の視聴記録一時記憶部２８０に保存され、サーバ５１０にアップロードされることとしているが、タブレット型端末１２４０とＶＯＤ端末１１００は、ユーザが視聴する視聴領域の２次元的な位置と画角、およびその視聴状態の際のパノラマ映像ストリームにおける再生時刻とその時刻に対応するフレーム位置の情報をやり取りしているため、視聴記録はＶＯＤ端末１１００側の視聴記録一時記憶部２８０にあってもよい。

また、タブレット型端末１２４０とＶＯＤ端末１１００のそれぞれにサーバ５１０に保存されているパノラマ映像ストリーム１１６０を配信することとしたが、例えば、パノラマ映像ストリーム１１６０の配信はＶＯＤ端末１１００で受け、ＶＯＤ端末１１００に新たなパノラマ映像ストリーム再配信部をコンテンツデコード部２３０の前に設け、ＶＯＤ端末１１００があたかもパノラマ映像ストリーム配信を行うサーバとしてふるまうことができれば、タブレット型端末１２４０はサーバ５１０からパノラマ映像ストリーム１２６０の配信を受ける必要がなく、サーバ５１０と無線ＬＡＮ機能付きルータ１２２０間のネットワークトラフィックを軽減することも可能である。

また、タブレット型端末１２４０とＶＯＤ端末１１００に接続されたモニタ１２１０には同じパノラマ映像ストリームの視聴領域が表示されるとしたが、パノラマ映像ストリームはタブレット型端末１２４０にもＶＯＤ端末１１００にも配信され、さらに視聴領域の情報、つまり２次元的な位置（視聴領域基準位置）、画角（視聴領域の縦方向と横方向の解像度の比率）および、その視聴状態の際のパノラマ映像ストリームにおける再生時刻とその時刻に対応するフレーム位置の情報をタブレット型端末１２４０とＶＯＤ端末１１００の間でやり取りをするため、例えば、タブレット型端末１２４０にはパノラマ映像ストリーム全景と、視聴領域を示す枠を表示しておき、ＶＯＤ端末１１００に接続されたモニタ１２１０には視聴領域のみを表示することも可能である。この場合、ユーザは通常の表示端末では表示できないほど広画角なパノラマ映像ストリームをモニタ１２１０で視聴している際、パノラマ映像ストリームのどの位置を視聴しているかを、パノラマ映像ストリームの全景と現在の視聴位置に相当する枠が表示されたタブレット型端末１２４０を確認することで、直観的に知ることができる。また、モニタ１２１０で表示されている以外のパノラマ映像ストリームの部分で起きているイベントや注目点に素早く気付くことができ、視聴位置を移動させることができる。

以上説明したように、ユーザがパノラマ映像ストリームの好みの被写体・場面を選択視聴した際の視聴位置・画角情報で構成する視聴記録を残し、その視聴記録に沿ってパノラマ映像ストリームを再生することで、ユーザの好みの被写体・場面が選択された視聴位置・画角・フレーム位置でのパノラマ映像ストリームの再視聴が可能となる。すなわち、ユーザ自身でカメラワークを決定することが可能になる。

また、視聴記録は、ユーザが視聴記録に沿ってパノラマ映像ストリームを再生する際に利用する表示デバイスの中で最も高フレームレートな動画を表現できる表示デバイスにおけるフレームレート以上の頻度（一般的な表示デバイスは２９．９７ｆｐｓが標準であるため、一般的にはこれ以上の記録間隔）で記録できるようにすることで、ユーザの持つ様々な表示デバイスで視聴記録に基づいたパノラマ映像ストリームの再視聴が可能となる。
また、低性能な表示デバイスに表示する場合は視聴記録の情報を間引くようにしたため、さらに高フレームレートを表現できるデバイスが出現した場合でも滑らかなカメラワークの再現が可能となる。

また、その再視聴に際し、ユーザが選択した被写体・場面を見やすくするよう、前述の視聴記録に補正や変更を施すことを可能になる。さらに、自身の作成した視聴記録を他のユーザに見てもらいたい、他のユーザが作成した視聴記録を視聴してみたい、という欲求に応えるため、視聴記録を他のユーザに送付することが可能になる。また、自他の作成した視聴記録に沿ったパノラマ映像ストリームの再視聴において、視聴記録で選択された被写体・場面とは別の被写体・場面を見たくなるというユーザの欲求にも応えるため、視聴記録に沿った再視聴時でも、再視聴しているユーザからの要求に応じて別の被写体・場面を提示することが可能になる。

この発明によれば、ユーザはパノラマ映像ストリームの好みの被写体・場面を視聴記録として記録することができるようになり、その視聴記録に沿って同じパノラマ映像ストリームを再視聴する際、ユーザは再度好みの被写体や場面を選択する必要がなくなる。また、視聴位置・画角情報で構成する視聴記録（テキストデータ）を改変するだけでプロではないユーザが作成した粗野なカメラワークの補正・変更を施すことができる。しかも、通常パノラマ映像ストリームは、前述のように通常ＨＤ画質以上、つまり、表示端末以上の解像度を持った映像であるため、その補正や変更において、視聴記録で選択されたパノラマ映像の一部の視聴領域を若干ずらすことや、他の部分に置き換えるなどしても、映像の劣化や再撮影の必要もなく、十分高品質なパノラマ映像ストリームの繰り返し視聴（再視聴）が可能となる。

さらに、視聴記録は、ユーザの持つ表示デバイスで表現可能なフレームレート以上の頻度で記録されているため、幅広い表示デバイスにおける滑らかなカメラワークの再現ができる上、今後開発されるであろうさらに高性能なフレームレートを表現可能な表示デバイスにも対応ができる。また、作成した視聴記録はテキスト情報であるため、自身の作成した視聴記録を低帯域かつ高速に他者やサーバに送付・保存することも可能であるため、視聴記録を受信したユーザが、同様のパノラマ映像ストリームを視聴できる環境を持っていれば、自身の作成した視聴記録に従ったパノラマ映像ストリームを容易に公開・共有することが可能となる。また、ユーザが作る視聴記録（カメラワーク）、他ユーザから送付された視聴記録が多種多様かつ大量となったとしても、それぞれの映像データそのものを保存する場合に比べ、保存容量は少なくて済む。さらに、作成した視聴記録はテキスト情報であるため、複数のユーザの同じパノラマ映像ストリームの任意のタイミングでの視聴位置・画角情報を収集し、分析することが容易であり、例えば最も視聴されている視聴位置や画角（つまりパノラマ映像ストリームに表示される被写体やシーン）を容易に知ることができる。

また、視聴記録を解析することにより、これまでに用いられてきたテレビコンテンツ（パノラマコンテンツ）毎の視聴率調査に加え、ユーザがパノラマ映像ストリームのどのフレーム位置で、どの視聴位置・画角を視聴していたかが把握できるようになるため、ユーザの細かい嗜好を把握可能となる。

次に、図１９を参照して、ユーザが保存した視聴記録を元に、パノラマ映像ストリームから視聴記録に記録された視聴領域を抽出し、ダウンロードして保存する動作を説明する。図１９は、ユーザが保存した視聴記録を元に、パノラマ映像ストリームから視聴記録に記録された視聴領域を抽出し、ダウンロードして保存する動作を示す説明図である。ここでは、予めユーザ自身、または第三者はパノラマ映像ストリームに沿って視聴を行い、いくつかの視聴記録（例えば図１９に示す視聴記録選択リスト１９００に列挙された視聴記録）を記録しているものとする。ここで、ユーザが記録された視聴記録のうちの一つを一般的な端末で視聴可能なファイル形式（ここではＭＰＥＧ−４形式とする）で自身のクライアント端末に保存する場合、ユーザは対象となる視聴記録１９１０を選択する。単純にタッチしただけでは視聴記録選択と判断され、選択した視聴記録に沿ったパノラマ映像ストリーム再生が始まるが、例えば、選択時、選択対象のプロパティを表示するような行為（例えば、パソコンであればマウスの右クリック、タブレット端末であれば選択対象の長押し等）を行った場合、視聴記録の抽出および作成するファイルのダウンロードの要否を問い合わせるダウンロード確認ウィンドウ１９２０を表示する。ここで「Ｙｅｓ」を選択し、続いて表される保存先確認ウィンドウ１９３０に対し端末のパスを指定してファイルをダウンロードするように操作した場合、選択場面抽出部１６０が視聴記録保存部１３０から対象となる視聴記録の情報を用いて、コンテンツ保存部１１０の対象となるパノラマ映像ストリームからユーザ視聴領域を抽出し、ＭＰＥＧ−４形式にトランスコードし、指定したユーザクライアント上のパスにファイルを保存する。

なお、作成するファイルのフレームレートはユーザがファイル作成時に別途選んでもよいし、ユーザが保存しようとしている端末で表示可能な最大フレームレートを自動的に設定し、ファイルを作成してもかまわない。保存されたファイルは一般的なファイル形式（ＭＰＥＧ−４）で記録されているため、再生端末を選ばない視聴が可能である上、通信ネットワーク経路に存在する揺らぎ等により途切れることもない。なお、本実施形態では、ユーザのフイルダウンロード操作起因で視聴領域を切り抜いてトランスコードしたが、予め視聴記録の保存操作を行った際、ユーザが視聴記録を選択せずとも、代表的な複数種類のフレームレート、動画ファイル形式にトランスコードしておくことで、ユーザがダウンロード操作を行った際のトランスコード時間を短縮することが可能となる。ただし、ユーザがダウンロード操作を行った際に対象ファイルが依然未トランスコード、またはトランスコード中だった場合、トランスコードが完了するまでユーザは待つことになる。

次に、ユーザが作成したファイルをＷｅｂ上の動画共有サービスにアップロードする動作を説明する。図１９に示す保存先確認ウィンドウ１９３０に対して、例えばアップロードする動画共有サービスのサービス名やアップロードページのＵＲＬを入力すると、作成したファイルを対象サービスにアップロードする。これにより、ユーザは、自身が選んだ視聴領域の映像を、アプリケーションを切り替えることなく、さらに視聴領域を選ぶ視聴が行えない一般的な動画共有サービスへも自身が選んだ視聴記録を公開することができる。ただしこの場合、アップロード先のユーザ認証や必要事項の入力は予め設定しておくことや、アップロードページへファイルと共に遷移し、ユーザが必要に応じて入力操作するなどを行えばよい。

なお、ここで作成するファイル形式が一般的なストリーミング形式であった場合、ユーザは自身の端末にダウンロードするのではなく、例えば抽出コンテンツ保存部１７０に保存され、ネットワーク経由で前記抽出コンテンツ保存部１７０に保存されたコンテンツをＵＲＬ等により参照することにより、前述した視聴環境を持たないユーザでも視聴記録に沿った映像視聴が可能となる。

このように、視聴記録の情報を元に、パノラマ映像ストリームから視聴した場面をダウンロード可能な形式（一般的なファイルフォーマットとして、例えばＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、ＲｅａｌＶｉｄｅｏ、Ｖｉｄｅｏ Ｆｏｒ Ｗｉｎｄｏｗｓ（ａｖｉ形式、Ｗｉｎｄｏｗｓは登録商標）、Ｍｏｔｉｏｎ ＭＰＥＧ、ＱｕｉｃｋＴｉｍｅ Ｍｏｖｉｅ、Ｍａｃｒｏｍｅｄｉａ Ｓｈｏｃｋｗａｖｅ Ｆｌａｓｈ、Ｗｉｎｄｏｗｓ Ｍｅｄｉａ等）、または一般的なストリーミング（例えばＲＴＳＰ（Real Time Streaming Protocol）、ＭＭＳ（Microsoft Streaming Server）、Ｍｉｃｒｏｓｏｆｔ Ｓｍｏｏｔｈ Ｓｔｒｅａｍｉｎｇ、ＲＴＭＰ（Real Time Messaging Protocol）、Ａｄｏｂｅ ＨＴＴＰ Ｄｙｎａｍｉｃ Ｓｔｒｅａｍｉｎｇ、ＨＴＴＰ Ｌｉｖｅ Ｓｔｒｅａｍｉｎｇ、ＭＰＥＧ−ＤＡＳＨ（Ｄｙｎａｍｉｃ Ａｄａｐｔｉｖｅ Ｓｔｒｅａｍｉｎｇ ｏｖｅｒ ＨＴＴＰ）等）技術で配信可能な映像形式に出力することで、一般的な端末（例えばＰＣ（Personal Computer）やタブレット型端末、スマートフォン、携帯電話等）に特殊なプレーヤを導入することなく動画再生可能となる。また、ユーザの端末にダウンロードすることで、ネットワークの揺らぎや帯域に依存して映像が止まることや画質が悪くなるようなことなく、コンテンツを視聴することができるようになる。さらに、一般的な複数のストリーミング形式に複数のビットレートで予め変換しておくことで、ユーザは再生プレイヤや再生端末の種類も意識することなく視聴することが可能となる。

なお、図１における処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより映像表示処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行っても良い。

映像の視聴記録を保存しておき、同じ映像を再度視聴する際に、保存しておいた視聴記録に基づき、同じ状況で映像の視聴を行うことが不可欠な用途に適用できる。

１００・・・配信サーバ、１１０・・・コンテンツ保存部、１２０・・・コンテンツ配信部、１３０・・・視聴記録保存部、１４０・・・視聴記録補正部、１５０・・・視聴記録管理ＤＢ、１６０・・・選択場面抽出部、１７０・・・抽出コンテンツ保存部、２００・・・視聴クライアント、２１０・・・コンテンツ出力部、２２０・・・出力画面描画部、２３０・・・コンテンツデコード部、２４０・・・入力受信部、２５０・・・デコード領域決定部、２６０・・・視聴記録保存決定部、２７０・・・ユーザインタフェース決定部、２８０・・・視聴記録一時記憶部、２９０・・・入力デバイス

Claims (9)

1. パノラマ映像から所望する場面を選択する操作を行う場面選択操作手段と、前記場面選択操作手段によって選択された場面の映像を画面表示する表示手段とを備える映像表示装置が行う映像表示方法であって、
   前記場面選択操作手段による前記場面の選択に応じて、配信サーバから配信された映像を前記表示手段に表示する映像表示ステップと、
   前記場面選択操作手段による前記場面の選択が行われる度に、前記パノラマ映像上の空間的な画面位置と、前記画面の画角情報とを含む視聴記録情報を前記選択された場面を特定する情報として記憶手段に記憶する視聴記録記憶ステップと
   を有することを特徴とする映像表示方法。
2. 前記記憶手段に記憶された視聴記録情報を読み出し、前記場面選択操作手段によって選択された場面の映像を前記パノラマ映像から切出し、ダウンロードまたはストリーミング配信可能な映像形式で出力する選択場面抽出ステップをさらに有することを特徴とする請求項１に記載の映像表示方法。
3. 前記視聴記録情報は、時間変化とともに前記記憶手段に記憶され、
   前記記憶手段に記憶された前記視聴記録情報に対して、ユーザの意図しない操作を補正または除去する視聴記録補正ステップをさらに有することを特徴とする請求項１または２に記載の映像表示方法。
4. 前記記憶手段に記憶された前記視聴記録情報を他の映像表示装置に送信し、前記他の映像表示装置の記憶手段に記憶させる視聴情報送信ステップをさらに有することを特徴とする請求項１から３のいずれか１項に記載の映像表示方法。
5. 前記記憶手段に記憶された前記視聴記録情報を読み出す視聴記録読み出しステップをさらに有し、
   前記映像表示ステップは、読み出した前記視聴記録情報に基づき選択された前記パノラマ映像の場面の映像を前記表示手段に表示することを特徴とする請求項１から４のいずれか１項に記載の映像表示方法。
6. 前記読み出した前記視聴記録情報に基づき選択された前記パノラマ映像の場面の映像を前記表示手段に表示中に、前記場面選択操作手段によって場面選択の操作が行われた場合に、前記場面選択操作手段によって選択された場面を優先して前記表示手段に表示することを特徴とする請求項５に記載の映像表示方法。
7. 前記記憶手段に記憶された前記視聴記録情報を解析する視聴記録解析ステップをさらに有し、
   前記映像表示ステップは、解析した前記視聴記録情報に基づき解析結果を前記表示手段に表示することを特徴とする請求項１から６のいずれか１項に記載の映像表示方法。
8. パノラマ映像から所望する場面を選択する操作を行う場面選択操作手段と、
   前記場面選択操作手段によって選択された場面の映像を画面表示する表示手段と、
   前記場面選択操作手段による前記場面の選択に応じて、配信サーバから配信された映像を前記表示手段に表示する映像表示手段と、
   前記場面選択操作手段による前記場面の選択が行われる度に、前記パノラマ映像上の空間的な画面位置と、前記画面の画角情報とを含む視聴記録情報を前記選択された場面を特定する情報として記憶手段に記憶する視聴記録記憶手段と
   を備えることを特徴とする映像表示装置。
9. 請求項１ないし請求項７のいずれか１項に記載の映像表示方法をコンピュータに実行させるための映像表示プログラム。